Dengan satu megawatt listrik yang sama, GB300 NVL72 terbaru dari NVIDIA mampu menangani 61.400 agen cerdas secara bersamaan, sementara generasi sebelumnya H200 hanya bisa menangani sekitar 2.600.
Di antaranya, selisihnya mencapai 20 kali lipat.
Skor AA-AgentPerf yang diumumkan NVIDIA: Pada dua standar layanan 20 dan 60 token per detik, jumlah agen cerdas konkuren per megawatt untuk GB300 NVL72 kira-kira 20 kali lipat dari H200.
Ketika NVIDIA merilis angka-angka ini pada 12 Juni, reaksi pertama dari luar adalah kembali memamerkan performa.
Tapi yang benar-benar berubah bukanlah seberapa hebat chip generasi ini, melainkan cara untuk mengukur kekuatan komputasi.
Itulah tolok ukur baru yang dirilis oleh lembaga penilaian independen Artificial Analysis: AA-AgentPerf.
Artificial Analysis dalam blog resminya menyebutnya sebagai tolok ukur inferensi pertama di industri yang dirancang khusus untuk "Agen Cerdas AI (AI agent)".
Indikator utamanya juga berbeda dari sebelumnya: bukan berapa token per detik, melainkan "Jumlah Agen Konkuren per Megawatt (Agents per Megawatt)".
Sederhananya, ini adalah berapa banyak agen cerdas yang dapat "ditopang" secara bersamaan untuk setiap 1 megawatt listrik yang diberikan ke sistem.
FLOPS telah diukur selama bertahun-tahun, dan token per detik juga telah digunakan dengan baik, lalu mengapa masih meluncurkan tolok ukur baru AA-AgentPerf ini?
Penggaris Lama
Tak Lagi Cocok Ukur Agen Cerdas
Untuk menjawab pertanyaan ini, pertama-tama kita harus memahami beban kerja seperti apa yang dijalankan oleh agen cerdas.
Penilaian Artificial Analysis sangat jelas, beban kerja AI paling utama pada tahun 2026 sudah jauh berbeda dari apa yang ditujukan oleh desain tolok ukur lama: tolok ukur lama mengukur permintaan sintetis dengan panjang tetap, dan secara sekaligus menonaktifkan berbagai optimasi yang benar-benar diaktifkan di lingkungan produksi.
NVIDIA secara resmi juga memberikan analogi yang tepat:
Percakapan biasa adalah lari sprint 100 meter, model menerima satu pertanyaan, menghasilkan jawaban, selesai; tetapi saat agen cerdas bekerja, lebih mirip lari estafet.
Ia memecah sebuah tujuan menjadi puluhan bahkan ratusan langkah, membaca file, menulis kode, menjalankan perintah, melihat hasil, lalu memutuskan langkah berikutnya, satu tongkat estafet bergantian, hingga tugas benar-benar selesai.
Sepanjang perjalanan ini, puluhan bahkan ratusan panggilan model besar dirangkai bersama, setiap kali memberikan konteks yang semakin panjang ke tongkat berikutnya, serta diselingi dengan pemanggilan alat seperti kompilasi, pencarian database, dan pencarian.
Kompleksitasnya bukan sekadar penambahan sederhana, melainkan perkalian berlapis.
NVIDIA menggunakan metafora "estafet" untuk menggambarkan beban kerja agen cerdas. Satu tujuan dibagi menjadi puluhan hingga ratusan langkah, panggilan model besar dan panggilan alat saling bergantian, dirangkai menjadi rantai panjang yang terus memanjang.
Masalahnya justru terletak di sini.
Tolok ukur inferensi yang ada di pasaran mengukur panggilan tunggal, berapa lama satu permintaan masuk dan kembali, berapa banyak permintaan yang dapat ditangani secara bersamaan oleh satu mesin.
Mereka awalnya tidak dirancang untuk agen cerdas. Cara pemanggilan berantai, penantian alat, dan pembengkakan konteks memeras sistem, sangat berbeda dengan permintaan tunggal.
Hanya sesi percakapan panjang saja sudah mengandung titik buta pengujian tolok ukur lama: prefiks panjang yang sama akan muncul berulang-ulang putaran demi putaran, siapa yang dapat menyimpannya dalam cache tanpa perlu menghitung ulang setiap kali, dialah yang menghemat daya komputasi besar-besaran.
Ditambah lagi dengan hasil alat yang tiba-tiba membuat konteks meledak, namun output seringkali hanya beberapa ratus token, apakah penjadwal dan hierarki memori dapat menahan ritme tiba-tiba panjang dan pendek ini, langsung menentukan apakah sebuah sistem berjalan lancar atau langsung crash.
Ini justru merupakan area yang tidak dapat disentuh oleh pengujian sintetis dengan panjang tetap.
Bagi mereka yang membeli kartu dan membangun pusat data dengan uang sungguhan, yang benar-benar mereka perhatikan adalah berapa banyak agen cerdas yang bekerja yang dapat ditopang secara bersamaan oleh sistem ini, berapa banyak output berguna yang didapat untuk setiap kilowatt listrik dan setiap GPU.
Pertanyaan-pertanyaan ini tidak dapat dijawab oleh tolok ukur lama.
Penggaris Pertama yang Dibuat untuk Agen Cerdas
Cara AA-AgentPerf berbeda dengan tolok ukur lama, tidak memberikan prompt sintetis dengan panjang tetap, melainkan memutar ulang jejak agen cerdas pemrograman yang nyata.
Ilustrasi jejak agen cerdas yang diputar ulang oleh AA-AgentPerf. Mulai dari satu permintaan, panggilan LLM dan panggilan alat bergantian maju, hingga tugas benar-benar selesai.
Jejak-jejak ini dikumpulkan dengan meminta agen cerdas menyelesaikan masalah di repositori kode nyata, mencakup lebih dari 12 bahasa pemrograman, satu sesi percakapan dapat berjalan hingga 200 putaran, konteks dengan mudah melebihi 100 ribu token.
Panjang input bervariasi dari 5 ribu hingga 130 ribu token, rata-rata sekitar 27 ribu. Yang benar-benar memperpanjang panjangnya bukanlah prompt itu sendiri, melainkan output alat dan riwayat percakapan yang terkumpul putaran demi putaran.
Yang lebih krusial, adalah cara menghitung skornya.
Ia tidak berusaha memaksimalkan konkurensi ekstrem. Begitu konkurensi ditumpuk terlalu tinggi, setiap agen cerdas menjadi lambat merangkak, jumlah konkurensi sebesar apapun, hanya tampak bagus namun tidak berguna.
AA-AgentPerf melakukan sebaliknya: pertama-tama mengunci standar layanan, kecepatan output setiap agen cerdas, latensi kata pertama (TTFT) harus memenuhi standar, lalu melihat sistem mempertahankan batas ini, berapa banyak agen cerdas yang mampu ditangani maksimal.
Kumpulan batasan ini memiliki nama, yaitu Sasaran Tingkat Layanan (SLO).
Standar ini juga dibagi menjadi beberapa tingkatan, dari tingkat cukup yang 20 token per detik, hingga tingkat sangat cepat yang 180 token per detik, setiap tingkat diuji sekali untuk konkurensi maksimum, sesuai dengan beberapa tingkat layanan yang benar-benar ada di pasaran.
Bagaimana Sasaran Tingkat Layanan (SLO) membatasi konkurensi maksimum. Titik hijau adalah area memenuhi syarat, begitu konkurensi ditumpuk tinggi dan kecepatan jatuh di bawah ambang batas, batas konkurensi yang sesuai adalah skor sistem tersebut.
Ia juga melakukan sesuatu yang jarang dilakukan oleh tolok ukur lain, yaitu membuka semua optimasi yang benar-benar akan diaktifkan oleh produsen dalam produksi.
Penggunaan ulang cache KV, decoding spekulatif, pemisahan deployment antara pra-pengisian dan decoding, semua trik ini yang biasanya dimatikan sekaligus oleh tolok ukur, kali ini diizinkan.
Alasannya sederhana: mengukurnya setelah menonaktifkan optimasi-optimasi ini tidak ada artinya.
Sementara itu, ia juga mengawasi kualitas output, tidak membiarkan suatu optimasi mengorbankan kualitas jawaban untuk menukarnya dengan konkurensi. Dengan demikian, setiap peningkatan yang dibawa oleh kemajuan perangkat lunak dan keras, dapat diukur dengan akurat.
Akhirnya jatuh pada satu indikator inti: Jumlah Agen Konkuren per Megawatt. Dalam dunia di mana listrik semakin ketat dan konsumsi energi berarti biaya, indikator inilah yang benar-benar diperhatikan oleh pembeli: dari token per detik, menjadi agen per megawatt.
20 Kali Lipat Lebih Unggul per Megawatt
40 Kali Lipat Lebih Unggul per GPU
Dalam pengujian terhadap model Pakar Campuran (MoE) mutakhir yang mewakili kelas terkuat saat ini, GB300 NVL72 mampu menopang 61.400 agen cerdas konkuren per megawatt, rata-rata setiap GPU menopang 57,5 agen.
Kelompok kontrol H200, sekitar 2.600 per megawatt, setiap GPU hanya 1,4. Di antara keduanya, selisihnya sekitar 20 kali lipat per megawatt, dan sekitar 40 kali lipat per GPU.
Kedua angka ini juga memiliki bobot yang berbeda.
Per megawatt mengukur berapa banyak kapasitas produksi agen cerdas yang dapat dibeli dengan listrik yang sama, merupakan perhitungan efisiensi energi; sementara per GPU mengukur kepadatan layanan dari satu kartu tunggal, merupakan perhitungan perangkat keras.
Berdasarkan kedua angka ini, kita dapat langsung mengonversi anggaran listrik yang kita miliki, skala aplikasi agen cerdas sebesar apa yang dapat dijalankan.
Peringkatnya tidak hanya menampilkan GB300 NVIDIA, tetapi juga MI355X dari AMD. Dari kartu tunggal, keseluruhan mesin hingga rak mesin, semuanya dipertandingkan di atas panggung yang sama.
Pada hasil batch pertama, muncul dua pola yang sangat jelas.
Pola 1: Sistem tingkat rak secara alami lebih murah, ia dapat lebih sepenuhnya memecah inferensi dan membaginya ke lebih banyak kartu, baik daya komputasi murni maupun efisiensi energi per megawatt, semuanya meninggalkan node tunggal di belakang;
Pola 2: Lompatan dari generasi Hopper ke Blackwell ini, secara langsung mendorong jumlah konkurensi yang dapat ditopang sistem ke tingkat baru, bukan perbaikan kecil.
Dari Kartu Tunggal ke Rak
Kemenangan Tingkat Sistem
Dari H200 ke GB300, ini tampak seperti lompatan performa kartu tunggal, pada kenyataannya adalah kemenangan tingkat sistem.
Yang lebih krusial adalah GB300 NVL72 menghubungkan 72 GPU dengan NVLink menjadi satu kesatuan tingkat rak.
Bagi model Pakar Campuran yang sangat besar ini, inilah poin pentingnya: model dapat dipecah seluruhnya, para pakar didistribusikan ke sejumlah GPU untuk dieksekusi secara paralel, daripada semuanya berdesakan di dalam kartu tunggal dan boros daya.
Inti CUDA melakukan optimasi lebih lanjut di balik layar, tumpang tindih komunikasi dan komputasi antar pakar, membuat biaya koordinasi berbagai pakar tersebut tersembunyi oleh daya komputasi, alih-alih menumpuk pada latensi.
TensorRT-LLM bertanggung jawab untuk mempertahankan efisiensi saat sesi konkuren terus meningkat, misalnya dengan memisahkan pemrosesan input dan pembuatan output menjadi dua hal terpisah, masing-masing dioptimalkan secara khusus.
Sederhananya, skor pengujian ini adalah hasil kerja bersama perangkat keras, interkoneksi, dan software stack.
Rak GB300 NVL72. 72 GPU dihubungkan oleh NVLink menjadi satu kesatuan bandwidth tinggi tunggal, inilah dasar perangkat keras yang memungkinkan 60 ribu agen cerdas beroperasi secara kolaboratif.
Menyolder 72 kartu menjadi satu kesatuan bandwidth tinggi, setiap GPU dapat dengan cepat berbagi parameter, cache KV, dan hasil antara, inilah keyakinan 60 ribu agen cerdas dapat berjalan secara kolaboratif.
Beberapa Batasan yang Tidak Boleh Dilewatkan
Ada beberapa poin yang perlu diperhatikan di sini, tolok ukur pengujian tidak dapat disamakan dengan realitas produksi.
Pertama, angka 60 ribu ini bukan berarti satu mesin menjalankan 60 ribu model besar independen secara bersamaan.
Ini adalah simulasi sesi konkuren yang didefinisikan oleh tolok ukur, setiap agen cerdas mengikuti jejak yang telah direkam sebelumnya, bahkan pemanggilan alat tidak benar-benar dieksekusi, melainkan disimulasikan dengan waktu CPU tetap.
Desain ini dimaksudkan agar hasil akhir hanya mencerminkan perbedaan daya komputasi itu sendiri, tetapi tidak dapat langsung disamakan dengan kemampuan layanan yang dapat diberikan di lingkungan produksi nyata.
Kedua, skor tolok ukur bukanlah perjanjian layanan produksi.
Artificial Analysis sendiri juga mengatakan, ini adalah gambaran cepat yang masih berubah dengan cepat, setiap sistem masih memiliki ruang yang belum dimanfaatkan maksimal, skor akan terus meningkat seiring dengan optimasi perangkat lunak.
Ketiga, AA-AgentPerf saat ini masih merupakan standar yang diusulkan oleh satu lembaga tunggal.
Apakah ia akan tumbuh seperti MLPerf, menjadi penggaris yang diakui seluruh industri, masih terlalu dini untuk disimpulkan.
Referensi:
https://artificialanalysis.ai/articles/aa-agentperf
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
Artikel ini berasal dari akun WeChat "新智元", penulis: ASI启示录, editor: 元宇
