Dalam panduan teknis resmi AWS (13/11), perusahaan menjelaskan cara menjalankan LiteLLM dengan plugin NVIDIA NeMo Switchyard di Amazon Bedrock sebagai pengarah permintaan agen kode. Dengan AWS Cloud Development Kit (AWS CDK), pengguna dapat membuat lingkungan uji, mengarahkan setiap permintaan ke model yang dipilih, lalu membandingkan biaya per tugas yang berhasil diselesaikan dengan kelompok yang hanya memakai satu model.
Anggap seorang pengembang meminta perubahan pada aplikasi. Agen kode seperti Claude Code atau OpenAI Codex CLI membaca berkas, mengubah kode, lalu menjalankan pengujian sampai pekerjaan selesai. Satu tugas bisa membutuhkan beberapa panggilan model atau belasan percobaan. Setiap percobaan tetap menimbulkan biaya, termasuk tugas yang akhirnya tidak berhasil. Karena itu, AWS memakai biaya per tugas selesai sebagai ukuran: total biaya seluruh percobaan dibagi dengan jumlah percobaan yang pengujiannya lulus. Harga per token hanya menjadi salah satu komponen dalam hitungan tersebut.
Secara teknis, agen mengirim permintaan yang kompatibel dengan OpenAI ke LiteLLM. Kolom model diisi dengan switchyard, sementara kunci gerbang dikirim melalui header otorisasi. LiteLLM dan plugin Switchyard berjalan dalam satu kontainer di Amazon Elastic Container Service dengan AWS Fargate, di dalam subnet privat. Plugin menyediakan dua strategi. Stage membaca aktivitas dan hasil penggunaan alat terbaru dari riwayat permintaan, lalu memilih satu dari tepat dua model kandidat. Random memilih dari kumpulan model berbobot dengan minimal dua anggota untuk membagi lalu lintas dan melakukan pengujian A/B. Karena Stage bergantung pada konteks pekerjaan, agen harus mengirim seluruh riwayat percakapan. Kedua strategi tersebut tidak menggunakan model khusus sebagai penilai.
Setelah model dipilih, LiteLLM memanggilnya melalui API Amazon Bedrock Converse atau ConverseStream dengan menggunakan peran AWS Identity and Access Management milik tugas. Panggilan tersebut melewati titik akhir Amazon Bedrock Runtime di dalam Amazon VPC sehingga lalu lintas inferensi tetap berada di jaringan AWS. Respons kembali melalui LiteLLM dan penyeimbang beban. Header x-litellm-model-name menunjukkan model yang menjawab, sedangkan kolom model dalam isi respons tetap berisi switchyard. Di sisi keamanan, AWS WAF menyaring reputasi alamat IP, masukan berbahaya, dan permintaan yang melampaui batas laju. Penyeimbang beban hanya meneruskan jalur /v1/chat/completions, /v1/models, dan /health/liveliness, sementara jalur lain menerima jawaban 404. Kunci gerbang disimpan di AWS Secrets Manager, citra gateway di Amazon ECR, dan log disimpan di Amazon CloudWatch selama 30 hari.
Contoh ini tetap memiliki batasan dan tidak ditujukan untuk produksi. AWS memasang switchyard-server versi 0.3.0, yang oleh NVIDIA didokumentasikan sebagai komponen demo dan evaluasi dengan konfigurasi yang dapat berubah antarrisil, serta memakai citra LiteLLM versi 1.102.0. Integrasi LiteLLM dengan Switchyard disebut eksperimental, sehingga konfigurasi dan antarmuka pemrogramannya dapat berubah. Strategi berbasis klasifikasi seperti Task dan Composite belum didukung karena memerlukan panggilan model tambahan. Pasangan Claude Opus 5.5 dan NVIDIA Nemotron 3 Super 120B telah diuji di wilayah US East (N. Virginia); ketersediaan model dan dukungan pemanggilan alat perlu diperiksa di wilayah lain. AWS menguji contoh ini di akun nonproduksi serta meminta organizationsinya melakukan tinjauan keamanan, hukum, dan kepatuhan sebelum menerapkannya. Secara umum, Switchyard dalam contoh ini merupakan lapisan pengarah antara agen dan Amazon Bedrock. Model tetap mengerjakan tugasnya, sementara biaya per tugas menjadi ukuran untuk menilai apakah pengarahan tersebut sesuai bagi beban kerja tertentu.