Amazon Web Services (AWS) memperkenalkan kemampuan observabilitas yang ditingkatkan di Amazon SageMaker HyperPod untuk membantu tim machine learning menemukan penyebab gangguan pada pekerjaan pelatihan berbasis GPU lebih cepat. Berdasarkan rilis resmi AWS (20/11), fitur ini menyatukan kapabilitas diagnostik dan profil untuk beban kerja pelatihan yang berjalan di atas orkestrator Amazon Elastic Kubernetes Service (Amazon EKS) maupun Slurm, sehingga masalah bisa dilokalisasi di lapisan GPU, jaringan, maupun host.
Pelatihan model berskala besar adalah salah satu pekerjaan paling mahal yang dijalankan pada GPU, dan satu akselerator yang bermasalah bisa membuat seluruh pekerjaan terdistribusi terhenti. Ketika throughput pelatihan turun, bagian yang sulit biasanya bukan menyadari ada yang salah, melainkan mencari tahu mengapa dan di mana. Tim sering menghabiskan waktu berjam-jam atau berhari-hari memilah log dan dasbor terpisah untuk memutuskan apakah perlambatan berasal dari GPU yang throttle, tautan jaringan yang jenuh, atau jalur data yang macet di host. Pembaruan ini mencoba menutup tiga celah tersebut: menemukan satu akselerator yang bermasalah di antara ratusan atau ribuan GPU, membedakan apakah penyebabnya ada di perangkat keras, jaringan, atau throttling, dan menyajikan informasi itu dalam satu tampilan terpadu.
Observabilitas baru bekerja dengan dua tingkat telemetri. Metrik default, yang aktif otomatis, mencakup kesehatan klaster, pemakaian CPU, disk, dan sistem operasi, utilisasi serta suhu GPU, dan pemakaian sumber daya per pekerjaan. Data dikumpulkan setiap 30 detik dengan overhead CPU sekitar 1–2% dan memori 250–300 MB. Ada pula metrik lanjutan yang bersifat opt-in, meliputi rangkaian lengkap node exporter untuk metrik tingkat host, semua metrik NVIDIA GPU DCGM dan AWS Neuron termasuk kecepatan clock, daya, aktivitas PCIe, dan indikator kesalahan, serta metrik Elastic Fabric Adapter (EFA) untuk throughput, packet drop, retransmisi, dan error pada antarmuka jaringan. Metrik lanjutan opsional karena menambah volume telemetri yang dikirim ke penyimpanan metrik dan berdampak pada biaya; AWS mencatat metrik ini biasanya dibutuhkan untuk pekerjaan pelatihan jangka panjang pada klaster besar.
Untuk penyimpanan metrik, pelanggan kini bisa memilih Amazon CloudWatch sebagai default baru atau tetap menggunakan Amazon Managed Service for Prometheus. Sebelumnya hanya Prometheus yang didukung. CloudWatch SageMaker Insights memungkinkan visualisasi langsung dari AWS Management Console, sementara opsi Prometheus tetap tersedia bagi tim yang sudah membangun dasbor di Grafana. AWS juga menyebutkan harga CloudWatch lebih rendah dibanding Amazon Managed Service for Prometheus.
Inti dari fitur ini adalah ringkasan diagnostik yang memakai dua pendekatan. Pertama, deteksi outlier GPU menggunakan API DetectGroupOutliers milik CloudWatch untuk membandingkan setiap GPU dalam satu pekerjaan berdasarkan utilisasi, pemakaian memori, suhu, daya, dan frekuensi SM clock; GPU yang menyimpang dari rekan-rekannya akan ditandai sebagai kartu outlier. Kedua, aturan diagnostik statis mengevaluasi pola kegagalan yang umum, mulai dari kesalahan memori ECC dan XID fault pada GPU, degradasi throughput EFA, packet drop, throttling clock karena panas atau batas keandalan, hingga overheating. Setiap masalah yang terdeteksi diidentifikasi berdasarkan pekerjaan, klaster, node, akselerator, dan rank yang terdampak, sehingga tim bisa langsung tahu di mana harus menyelidiki.
Secara umum, SageMaker HyperPod adalah layanan AWS untuk menjalankan dan mengelola klaster yang dirancang khusus untuk pelatihan model AI skala besar, dengan orkestrator yang menangani penjadwalan dan pemulihan node secara otomatis. Istilah rank merujuk pada identitas unik setiap GPU dalam satu pekerjaan terdistribusi, sehingga ketika satu rank bermasalah, tim bisa melacak GPU fisik dan node yang menjadi penyebab tanpa harus menebak. Fitur ini dipasang sebagai add-on pada klaster berbasis EKS dan sebagai ekstensi pada klaster berbasis Slurm, dengan kontrol akses melalui AWS Identity and Access Management (IAM).