OpenAI (29/10) memaparkan cara perusahaan mendeteksi perilaku menyimpang atau berbahaya pada model frontier dan agen otonom yang dibangun di atasnya. Pendekatan ini dirancang agar tim internal bisa turun tangan sebelum masalah berubah menjadi insiden serius.

Secara umum, model frontier adalah model AI dengan kemampuan paling mutakhir yang dimiliki sebuah perusahaan, biasanya dipakai untuk riset dan pengembangan fitur lanjutan. Agen otonom adalah program yang diberi wewenang menjalankan tugas secara mandiri, misalnya menulis kode, menjelajah web, atau mengoperasikan perangkat lunak lain. Karena model dan agen ini bisa bertindak tanpa campur tangan manusia di setiap langkah, perusahaan perlu cara otomatis untuk mengawasi perilakunya.

OpenAI menyebut pendekatannya sebagai pemantauan berlapis. Lapisan pertama adalah monitor yang membaca percakapan dan tindakan agen secara langsung, lalu memberi skor seberapa besar kemungkinan perilaku itu menyimpang dari tujuan yang ditetapkan. Lapisan kedua adalah monitor yang menilai jejak tindakan agen setelahnya, misalnya dengan menelusuri log perintah, file yang diakses, dan hasil yang dikirim balik ke pengguna. Skor dari kedua lapisan itu kemudian dipakai untuk memutuskan apakah agen boleh melanjutkan, diminta berhenti, atau perlu ditinjau manusia.

Perusahaan juga menjelaskan bagaimana sistem ini dipakai untuk mencegah tindakan yang tidak sah, seperti agen yang mencoba mengakses data di luar izinnya atau menjalankan perintah yang berpotensi merusak. Bila skor risiko melewati ambang batas, sistem otomatis dapat memutus akses agen dan mengirim peringatan ke tim respons. Tujuannya, menurut OpenAI, adalah memberi waktu bagi manusia untuk menyelidiki sebelum dampak meluas.

Secara umum, istilah misalignment merujuk pada kondisi ketika model AI bertindak tidak sesuai dengan niat pembuat atau pengguna, bukan karena rusak secara teknis, melainkan karena cara model mengejar tujuannya berbeda dari yang diharapkan. Karena agen otonom bisa menjalankan banyak langkah tanpa persetujuan di setiap tahap, risiko misalignment sering kali baru terlihat setelah agen sudah bertindak. Pendekatan pemantauan berlapis seperti yang dipaparkan OpenAI adalah salah satu cara industri menjawab tantangan itu, dengan membagi pengawasan ke beberapa titik sehingga satu lapisan yang lolos masih bisa ditangkap lapisan lain.