Satu Megawatt Menopang 60 Ribu Agen Cerdas, GB300 NVIDIA Hancurkan Generasi Sebelumnya 20 Kali Lipat
Judul: "Satu Megawatt Menghidupi 60.000 Agen, NVIDIA GB300 Hancurkan Generasi Sebelumnya 20 Kali Lipat"
Benchmark baru, AA-AgentPerf, telah diperkenalkan untuk mengukur kinerja sistem AI dalam menjalankan beban kerja agen AI yang kompleks, bukan hanya inferensi tunggal. Berbeda dengan benchmark lama yang mengukur token per detik, AA-AgentPerf fokus pada metrik utama "Jumlah Agen Bersamaan per Megawatt", yaitu berapa banyak agen AI yang dapat didukung secara bersamaan dengan daya 1 megawatt, sambil mempertahankan standar layanan tertentu (SLO) seperti kecepatan output token.
NVIDIA GB300 NVL72, sebuah sistem tingkat rak yang menghubungkan 72 GPU melalui NVLink, menunjukkan kinerja luar biasa dalam benchmark ini. Pada standar layanan 20 dan 60 token per detik, sistem ini dapat menangani sekitar 61.400 agen bersamaan per megawatt. Ini sekitar 20 kali lipat lebih efisien dibandingkan generasi sebelumnya, H200, yang hanya menangani sekitar 2.600 agen per megawatt. Dari sisi kepadatan perangkat keras, setiap GPU GB300 dapat menangani rata-rata 57,5 agen, sekitar 40 kali lipat dari H200 (1,4 agen per GPU).
Keunggulan ini dicapai melalui kemenangan di tingkat sistem, termasuk arsitektur GPU Blackwell, interkoneksi NVLink berbandwidth tinggi, dan optimisasi perangkat lunak seperti TensorRT-LLM yang memungkinkan pemrosesan paralel dan caching yang efisien untuk beban kerja agen yang melibatkan ratusan panggilan berantai, konteks yang membengkak, dan penggunaan alat.
Penting untuk dicatat bahwa angka 61.400 agen adalah simulasi sesi bersamaan berdasarkan jejak agen yang telah direkam (saat ini fokus pada pengkodean), bukan menjalankan model lengkap secara independen. Hasilnya adalah potret kemampuan komputasi dan efisiensi, bukan jaminan kapasitas layanan produksi langsung. AA-AgentPerf masih merupakan proposal awal dari satu organisasi dan kinerja sistem diperkirakan akan terus meningkat dengan optimisasi perangkat lunak lebih lanjut.
marsbit2 hari yang lalu 01:05