Berdasarkan rilis resmi OpenAI (30/10), perusahaan akan menghormati sinyal robots.txt yang dibagikan agar operator situs web dapat menyampaikan preferensi pelatihan AI kepada penyedia yang ikut serta. robots.txt adalah berkas standar yang sudah lama dipakai pemilik situs untuk memberi petunjuk kepada perayap web, termasuk mesin pencari, bagian mana yang boleh atau tidak boleh diakses. Lewat pendekatan ini, satu sinyal pada robots.txt dapat dikenali oleh beberapa penyedia AI sekaligus, sehingga pemilik situs tidak perlu mengatur preferensi terpisah untuk tiap layanan.
Bagi penerbit, akademisi, dan komunitas daring yang ingin menjaga kontennya tidak digunakan untuk melatih model, mekanisme bersama ini menurunkan beban teknis. Sebelumnya, tiap penyedia AI memiliki cara berbeda untuk menerima permintaan penahanan data, sehingga operator situs harus menelusuri kebijakan masing-masing perusahaan. Dengan sinyal yang seragam, pemilik situs cukup memperbarui satu berkas dan berharap penyedia yang ikut serta menghormatinya. OpenAI juga menyatakan akan menerima cara lain yang sudah ada, seperti formulir penahanan data, sehingga operator punya beberapa jalur untuk mengelola preferensi.
Secara umum, robots.txt adalah berkas teks sederhana di direktori utama sebuah situs yang berisi instruksi bagi perayap otomatis. Selama bertahun-tahun, berkas ini dipakai mesin pencari seperti Google untuk menentukan halaman mana yang boleh diindeks. Ketika dipakai untuk preferensi pelatihan AI, logikanya serupa: pemilik situs menuliskan aturan, lalu perayap yang menghormati robots.txt akan menyesuaikan perilakunya. Karena robots.txt bersifat sukarela, efektivitasnya tetap bergantung pada kepatuhan tiap penyedia AI yang menerima sinyal tersebut.
OpenAI tidak merinci daftar lengkap penyedia yang akan ikut serta atau jadwal penerapan teknisnya. Perusahaan juga belum menjelaskan bagaimana sinyal ini berinteraksi dengan kebijakan penggunaan data yang sudah ada, termasuk opsi penahanan data yang sebelumnya disediakan.