BMW Group mengandalkan ratusan agen AI untuk melayani lebih dari 12.500 developer di divisi riset dan pengembangan. Dalam tulisan di blog AWS Machine Learning (19/11), tim R&D BMW menjelaskan cara mereka menjaga eksperimen tetap cepat sambil menerapkan standar keamanan, kualitas, dan kepatuhan secara konsisten. Lima praktik utama yang sudah dipakai sejak 2023 dikodekan sebagai infrastruktur sebagai kode (infrastructure as code) agar dapat diadopsi lintas tim, diaudit, dan ditegakkan.
Pusat pendekatan BMW adalah agent harness, yaitu lapisan runtime yang membungkus model bahasa besar (large language model/LLM). Lapisan ini menangani siklus eksekusi, pengiriman perintah ke tool, manajemen memori, serta kait observabilitas yang diperlukan agar agen dapat beroperasi secara otonom. BMW menyebut pola ini sebagai padanan pendekatan AWS Well-Architected Framework dalam dunia sistem agentik, dengan cetak biru yang memuat tata kelola, komposabilitas, dan praktik operasional sejak tahap awal.
Tata kelola dibangun secara struktural melalui tiga pendekatan. Pertama, framework-agnostic dan ter-eksternalisasi: aturan autentikasi, otorisasi, pembatasan laju, dan penyaringan konten dijalankan di lapisan integrasi. Lapisan itu mencakup gateway Model Context Protocol (MCP), registry agen terpusat, dan batas orkestrasi, sehingga aturan tetap berlaku ketika framework, model, atau struktur tim berubah. Kedua, pendekatan yang menyesuaikan tingkat risiko: tindakan seperti menyusun dokumentasi, memperbarui catatan pelanggan, dan menulis ke database produksi memperoleh tingkat pengawasan berbeda. BMW menetapkan tiga tingkat otonomi per langkah, mulai dari human-in-the-loop yang memerlukan persetujuan manusia untuk setiap tindakan, human-on-the-loop yang menjalankan tugas otonom dengan peninjauan manusia secara tidak langsung, hingga otonom dalam batas kebijakan tertentu untuk operasi berisiko rendah dengan rekam jejak yang telah diperiksa. Ketiga, aturan ditegakkan secara deterministik melalui kode di luar siklus penalaran agen. Pemeriksaan izin, policy-as-code, dan validasi kepatuhan dijalankan dalam pipeline CI/CD sebelum deployment ke produksi, sehingga prompt agen tidak dapat mengganti hasil pemeriksaan.
Instrumentasi dan evaluasi berlangsung sejak awal pengembangan. BMW menyimpan dataset ground-truth yang mencakup kueri umum dan kasus batas untuk mengukur kualitas berdasarkan keluaran yang mewakili kebutuhan nyata. Pipeline CI/CD juga memastikan agen yang belum memiliki instrumentasi tidak lolos validasi. Instrumen utama mencakup intent tracing, yang mencatat lintasan eksekusi seperti langkah penalaran, pemanggilan tool, dan pengambilan konteks. Rekaman tersebut membantu reviewer melihat apakah agen menjalankan langkah yang sesuai, memakai data yang tepat, dan menghasilkan jawaban yang patuh terhadap kebijakan.
Secara umum, agent harness merupakan lapisan perangkat lunak yang menjadi rumah bagi agen AI. Lapisan ini menerima permintaan, menjalankan instruksi, mengatur penggunaan tool, menyimpan memori percakapan, dan mencatat kejadian untuk audit. Model Context Protocol adalah standar komunikasi terbuka yang menghubungkan agen dengan tool serta sumber data eksternal melalui antarmuka yang konsisten. Kombinasi ini membuat pemeriksaan keamanan, pelacakan tindakan, dan pengujian kualitas dapat berlangsung otomatis sepanjang siklus pengembangan.