Amazon Bedrock AgentCore Runtime versi V2 menjanjikan pengalaman berbeda bagi pengguna yang sering menunggu respons pertama dari agen AI. Berdasarkan tulisan di blog AWS (13/11), pembaruan ini memakai teknologi snapshot agar sesi baru dapat dimulai dalam sekitar dua detik, tanpa harus memuat ulang seluruh kontainer dari awal seperti versi sebelumnya.

Bayangkan membuka jendela chat dan langsung mendapat jawaban tanpa jeda panjang di belakang layar. Itulah sasaran yang dijanjikan V2. Setiap sesi agen dijalankan di lingkungan serverless dan terisolasi, lalu platform melakukan inisialisasi kontainer satu kali, mengambil snapshot dari kondisi siap pakai, dan memulihkan snapshot tersebut untuk setiap sesi baru. Hasilnya, waktu mulai sesi tidak lagi membesar seiring ukuran image kontainer, dan biaya hanya mengikuti pemakaian memori yang benar-benar digunakan.

Secara umum, snapshot adalah potret kondisi memori dan disk pada satu titik waktu. Pada V2, ketika sebuah runtime dibuat atau diperbarui, AgentCore memulai kontainer di microVM baru dan menunggu ping pertama yang menandakan aplikasi sehat. Setelah itu, cache file sistem operasi dibersihkan agar snapshot tetap ringkas, lalu microVM dibekukan dan disimpan. Saat sesi baru datang, snapshot dipulihkan ke microVM baru dan proses agen langsung melanjutkan dari posisi terakhir, dengan impor, objek, dan klien yang sudah siap dipakai.

AWS juga menekankan tiga konsekuensi teknis dari alur ini. Pertama, memori proses kembali utuh pada kecepatan RAM, termasuk file di sistem berkas berbasis memori seperti /dev/shm. Kedua, cache file dibersihkan sebelum pembekuan, sehingga pembacaan file saat inisialisasi tidak otomatis menjadi cepat di sesi yang dipulihkan. Ketiga, file dari image diambil saat pertama kali dibaca di sesi baru, lalu disimpan lebih dekat ke host untuk akses berikutnya.

Bagi agen yang hanya perlu menjaga state di dalam prosesnya, perpindahan ke V2 sudah cukup. Namun ada kasus yang butuh penyesuaian. Jika agen memakai CLI terpisah, peramban, atau file besar yang harus tersedia sejak awal, AWS menyarankan penggunaan build hook, fitur baru yang berjalan saat snapshot dibangun untuk memuat dan memanaskan komponen tersebut. Sementara untuk aplikasi chat dan suara yang menuntut respons di bawah satu detik, AWS merekomendasikan agar sesi dimulai di latar belakang begitu pengguna mulai berinteraksi, misalnya saat membuka aplikasi atau jendela percakapan, sehingga saat pesan pertama dikirim sesi sudah siap.

Untuk mengukur kinerja, AgentCore Runtime menerbitkan metrik latency dan OverheadLatency di CloudWatch pada namespace AWS/Bedrock-AgentCore. OverheadLatency mencerminkan waktu yang dihabiskan platform untuk menyiapkan sesi, seperti memulai microVM dan memulihkan snapshot. Inisialisasi sendiri tidak muncul di metrik karena hanya berjalan sekali saat snapshot dibuat, bukan di setiap sesi; AWS menyarankan mencatat durasinya di log pembangunan runtime bila ingin diketahui.

Secara umum, pendekatan snapshot ini mirip dengan fitur SnapStart pada AWS Lambda yang sudah lebih dulu dikenal. Tujuannya sama: memindahkan pekerjaan berat dari jalur permintaan ke tahap pembangunan, agar pengguna merasakan respons yang cepat sejak interaksi pertama.