AWS memperkenalkan distributed KV caching agent skill di Agent Toolkit yang diklaim memangkas biaya inferensi LLM self-hosted hingga 40% dan waktu token pertama hingga 80% menggunakan Amazon ElastiCache.
AWS memperkenalkan distributed KV caching agent skill di Agent Toolkit yang diklaim memangkas biaya inferensi LLM self-hosted hingga 40% dan waktu token pertama hingga 80% menggunakan Amazon ElastiCache.
Google (20/11) mengumumkan peluncuran Duplex di Tasks dalam aplikasi Gemini, yang memungkinkan AI menelepon bisnis atas nama pengguna untuk memesan restoran, menjadwalkan servis, dan mengecek ketersediaan layanan.
Amazon SageMaker HyperPod kini menawarkan ekstensi terkelola untuk observabilitas dan manajemen pengguna di klaster Slurm, memungkinkan konfigurasi perangkat lunak pada node dilakukan lewat API dan konsol secara deklaratif.
AWS memperkenalkan Global Inference Gateway pada SageMaker HyperPod, satu endpoint terkelola yang merutekan permintaan inferensi ke berbagai klaster di satu atau lintas region dengan failover otomatis.
Amazon Textract Insights dari AWS kini tersedia umum. Fitur ini memungkinkan pengguna mengekstrak data dari dokumen campuran menggunakan deskripsi bahasa alami, dengan skor kepercayaan dan rujukan halaman untuk setiap nilai.
Meta (20/11) mengumumkan perluasan Digital Brain Project dari 15.000 menjadi 25.000 jam data otak, serta merilis UMA Nitro, versi lebih cepat dari model atom Meta, dalam Open Source AI for Science Summit di Menlo Park.
AWS mengumumkan pembaruan observabilitas di Amazon SageMaker HyperPod yang menggabungkan kemampuan diagnostik dan profil untuk pelatihan model berskala besar, berlaku pada klaster berbasis Amazon EKS maupun Slurm.
OpenAI (20/11) memaparkan pendekatan berlapis untuk mencegah pihak tak berwenang mengekstrak kemampuan model frontier lewat distilasi adversarial, termasuk penguatan perlindungan terhadap jejak penalaran internal pada GPT-6.2 Astra dan Sol.
Hermes Agent v0.23.3 menggabungkan sekitar 370 pull request sejak v0.23.2 dalam rilis patch yang tersedia untuk CLI, installer, Microsoft Store, Docker, dan Hermes Cloud. Pembaruan mencakup pengelolaan cache, pengarsipan hasil tool, dependensi keamanan, dan dukungan model baru.