AWS dan NVIDIA tunjukkan cara rute agen coding di Bedrock
Sampel kode AWS dan NVIDIA menggunakan LiteLLM dengan plugin NeMo Switchyard untuk merutekan permintaan agen coding ke model Amazon Bedrock yang paling efisien berdasarkan biaya per tugas terselesaikan.
Inti
Agen coding seperti Claude Code dan OpenAI Codex CLI bekerja dalam satuan tugas, bukan satu panggilan model. Satu tugas bisa memerlukan beberapa kali panggilan atau puluhan. Karena itu, menurut pos di blog AWS Machine Learning, angka yang layak dijadikan patokan adalah biaya per tugas terselesaikan (cost per solved task), bukan harga per token.
Untuk menunjukkan caranya, tim AWS menyusun sampel yang menjalankan LiteLLM dengan plugin routing NVIDIA NeMo Switchyard di Amazon Bedrock, lalu membandingkannya dengan model tunggal. Harga per token tidak memberi tahu biaya satu tugas utuh. Totalnya bergantung pada berapa giliran yang dibutuhkan sebuah model, berapa banyak riwayat yang diputar ulang setiap giliran, dan seberapa sering tugas harus dicoba ulang atau bahkan tidak pernah selesai. Biaya percobaan yang gagal tetap dibayar.
Dalam pos tersebut, biaya per tugas terselesaikan didefinisikan sebagai total biaya seluruh eksekusi dibagi jumlah eksekusi yang tesnya lulus. Sampel ini dirancang agar pengguna dapat mengevaluasi routing terhadap beban kerja masing-masing, bukan mengandalkan satu angka universal.
Cara kerja routing
NVIDIA NeMo Switchyard adalah pustaka sumber terbuka yang membantu agen memilih model untuk setiap permintaan. Menurut pos AWS dan README repositori sampelnya, integrasi LiteLLM yang didokumentasikan mendukung dua strategi. Stage routing membaca aktivitas dan hasil pemanggilan alat (tool) terakhir dalam riwayat permintaan, lalu memilih di antara dua kandidat: model mumpuni dan model efisien. Random routing memilih dari kumpulan model dengan bobot opsional, untuk pemisahan trafik dan uji A/B. Keduanya tidak memanggil model juri (judge).
LiteLLM berperan sebagai gerbang yang menangani autentikasi, komunikasi ke penyedia, dan panggilan ke Bedrock, sementara Switchyard memasok logika pemilihan model. Arsitekturnya menempatkan LiteLLM dan plugin dalam satu citra kontainer di Amazon Elastic Container Service (ECS) dengan AWS Fargate di subnet privat.
Permintaan dengan format kompatibel OpenAI dikirim dengan field model bernama switchyard. Setelah gateway memvalidasi kunci, plugin memilih kandidat, dan LiteLLM memanggil model terpilih lewat API Bedrock Converse atau ConverseStream memakai peran IAM tugas. Header respons x-litellm-model-name menyebutkan model yang menjawab, sementara isi respons tetap menulis switchyard.
Di profil Stage, dua kandidat yang dipakai adalah Claude Opus 5.5 dan Nemotron 3 Super 120B. Urutan pencantuman menentukan peran: model mumpuni lebih dulu, model efisien kedua. README repositori menambahkan bahwa profil Stage memilih model efisien ketika sinyalnya tidak konklusif, sehingga agen wajib mengirim riwayat percakapan penuh. Pemilihan melalui Stage hanya dijalankan untuk grup dengan dua kandidat unik; grup bermodel tunggal dilewatkan apa adanya.
Perbandingan biaya
Sampel menyertakan baseline model tunggal dengan rangkaian model yang sama persis seperti kandidat ter-routing. Dengan begitu, hasil grup switchyard dapat dibandingkan dengan grup claude-opus-5-5 dan nemotron-super-3-120b di lingkungan penerapan yang sama, memakai benchmark runner bawaan sampel.
Pos AWS menegaskan alasan desain ini: model mumpuni mungkin lebih mahal per token tetapi selesai dalam lebih sedikit giliran, sedangkan model efisien lebih murah per token tetapi bisa membutuhkan lebih banyak percobaan, terjebak dalam lingkaran, atau gagal menyelesaikan tugas. Halaman overview Switchyard mencantumkan bahwa hasil Stage bersandar pada pengujian Terminal-Bench 2.1 dan DeepSWE dengan profil DeepSWE v1.1, walau konfigurasi tertentu di sana disebut belum memiliki hasil yang dipublikasikan.
Sudut kritis
Sampel ini secara eksplisit bukan untuk produksi. Menurut catatan di pos AWS maupun README, switchyard-server versi 0.3.0 diambil dari crates.io dan didokumentasikan NVIDIA sebagai komponen demo dan evaluasi; konfigurasinya bisa berubah antar-rilis. Integrasi Switchyard untuk LiteLLM masih eksperimental, dan citra LiteLLM yang dipakai dipatok pada v1.102.0 agar perilaku yang terverifikasi bisa direproduksi.
Citra itu juga menghapus runtime Node.js sehingga fitur basis data Prisma LiteLLM tidak tersedia, meski sampel tidak memakainya. Dari sisi keamanan, gateway dilindungi kunci bersama yang dibuat lewat AWS Secrets Manager, AWS WAF dengan aturan reputasi IP, input berbahaya, dan pembatasan laju per IP, serta allowlist jalur yang hanya meneruskan /v1/chat/completions, /v1/models, dan /health/liveliness.
Lalu lintas inferensi menuju Bedrock lewat antarmuka VPC agar tidak keluar ke internet publik. Meski begitu, README menyebut proxy lokal yang dibundel tidak terautentikasi dan hanya untuk pengembangan, dan menyarankan pengujian keamanan tambahan sebelum penerapan produksi. Satu keterbatasan teknis lain: strategi berbasis pengklasifikasi seperti Task dan Composite memerlukan panggilan model perantara yang tidak didukung integrasi ini.
Apa berikutnya
Penerapan mengikuti urutan yang diuraikan sampel: klona repositori, definisikan grup model di berkas profil (litellm.yaml dan switchyard.toml), deploy gateway dengan AWS Cloud Development Kit (CDK), ambil kunci, kirim permintaan pertama, jalankan tugas coding, lalu ukur biaya. Prasyaratnya antara lain akun non-produksi dengan akses Bedrock ke kedua model, AWS CLI v2, Node.js 20 atau lebih baru, Docker dengan BuildKit, Python 3.11 atau lebih baru, serta hostname dengan zona Route 53 publik atau sertifikat ACM.
Pasangan model itu telah diuji di US East (N. Virginia). Langkah selanjutnya yang paling berguna bagi tim engineering adalah menjalankan benchmark dengan beban kerja sendiri dan membandingkan pass rate serta biaya per tugas antara grup ter-routing dan baseline. Selama integrasinya masih eksperimental dan konfigurasinya bisa berubah, hasil terbaik diperlakukan sebagai masukan evaluasi, bukan jaminan penghematan.