NVIDIA memperkenalkan fitur Global Performance Tuner di TensorRT 11.1, perangkat lunak yang umum dipakai untuk menjalankan model AI secara lebih cepat di kartu grafis produksi NVIDIA. Dalam tulisan di blog developer-nya (23/10), NVIDIA menjelaskan bahwa fitur ini dirancang untuk membantu pengguna menemukan konfigurasi kompilasi terbaik bagi setiap model, tanpa harus menebak-nebak strategi mana yang paling cocok.

TensorRT bekerja seperti penerjemah akhir: ketika sebuah model AI yang sudah dilatih ingin dijalankan di GPU, TensorRT mengambil struktur model itu dan menyusunnya menjadi engine yang siap dipakai. Proses penyusunan ini melibatkan banyak keputusan yang saling terkait, mulai dari cara menggabungkan lapisan-lapisan model, pemilihan kernel atau potongan kode yang berjalan di GPU, penempatan memori, hingga presisi angka yang digunakan. Kumpulan keputusan ini disebut penjadwalan, dan pilihan yang berbeda bisa menghasilkan kecepatan yang sangat berbeda pula.

Selama ini, NVIDIA mengandalkan heuristik, yaitu aturan bawaan yang disusun berdasarkan pola model-model yang sudah dikenal. Aturan ini membantu banyak pengguna tanpa perlu pengaturan tambahan, tetapi semakin beragam model yang dijalankan, semakin sulit aturan tersebut mencakup semua kasus. Sebuah trik yang mempercepat satu model bisa memperlambat model lain, dan optimasi agresif kadang menurunkan akurasi melampaui batas yang bisa diterima aplikasi. NVIDIA menggambarkan situasi ini lewat analogi sederhana: seorang koki punya satu resep andalan yang memuaskan tiga pelanggan tetap, lalu datang pelanggan keempat dengan selera berbeda. Resep tunggal tidak cukup, dan menambahkan bumbu khusus untuk satu pelanggan bisa merusak rasa untuk pelanggan lain.

Global Performance Tuner menjawab masalah itu dengan membuka ruang pencarian yang lebih luas. Alih-alih terpaku pada satu jalur kompilasi bawaan, fitur ini memungkinkan TensorRT mencoba beberapa jalur pembangunan engine, menguji setiap kandidat terhadap performa dan akurasi secara menyeluruh, lalu memilih hasil terbaik yang masih memenuhi syarat. Tiga prinsip yang mendasari fitur ini adalah penyetelan yang sadar akurasi, jalur pembangunan yang bisa disesuaikan, dan ruang solusi yang cukup besar agar engine tercepat yang masih dapat diterima bisa dipilih.

Secara umum, istilah kompilasi di sini merujuk pada proses menerjemahkan model dari format aslinya, misalnya ONNX, menjadi kode yang efisien untuk dijalankan di perangkat keras tertentu. Presisi angka, seperti FP16 atau INT8, adalah cara model menyimpan bobot dan perhitungan dengan lebih sedikit digit; semakin rendah presisi, semakin cepat prosesnya, tetapi risiko perubahan hasil juga meningkat. Pendekatan baru NVIDIA ini memisahkan strategi umum dari pengecualian khusus, sehingga setiap model bisa mendapat perlakuan yang paling sesuai tanpa mengorbankan model lain. NVIDIA juga menyebutkan bahwa tulisan ini adalah bagian pertama dari dua seri, dengan bagian kedua yang akan membahas rancangan algoritma dan praktik terbaik penggunaan fitur ini.