Baru saja, agen coding umum AVO dari Nvidia, mencetak nilai sempurna di ARC-AGI-3!
Dalam 25 lingkungan permainan, ia menaklukkan semua 183 level, hanya menghabiskan total 6624 langkah, dengan RHAE mencapai 100.00.
Perlu diketahui, ARC-AGI-3 terkenal tidak main adil. Ia melemparkan agen langsung ke dalam game asing tanpa memberikan aturan atau tujuan, bergantung sepenuhnya pada agen untuk menekan, melihat, dan menebak sendiri.
Beberapa lingkungan memungkinkan bergerak ke atas-bawah-kiri-kanan, berputar-putar di lorong, menabrak kotak biru-hitam, lalu seluruh layar berputar 90 derajat; beberapa bahkan tidak membolehkan bergerak, hanya boleh mengklik, mengandalkan klik untuk mengubah warna sel menjadi pola target secara siklus.
Setiap lingkungan setidaknya memiliki enam level, semakin ke belakang semakin sulit. Level pertama bisa selesai dalam lima langkah, level keenam mungkin butuh lima puluh langkah.
Di tangan agen hanya ada grid 64×64 dan beberapa tombol.
Model-model mutakhir yang mencoba menyerang langsung, jelas tidak bisa menyelesaikannya.
Model yang digunakan AVO kali ini adalah Claude Opus 5. Namun kalau dikirim sendiri untuk mengikuti tes, nilainya hanya 30.16%, dan itu pun sudah menjadi peringkat pertama di papan resmi yang diverifikasi.
ARC Prize menganalisis rekaman permainan generasi sebelumnya dan mengidentifikasi tiga jenis kesalahan tipikal.
- Pertama, memahami secara lokal tetapi tidak secara global.
- Kedua, mencocokkan mekanisme asing ke dalam game yang sudah dikenal.
- Ketiga, berhasil melewati level, tetapi tidak benar-benar mempelajarinya.
Yang ketiga ini paling fatal. Opus pernah menyelesaikan level pertama ka59 hanya dalam 37 langkah, tetapi pemahamannya tentang mekanisme klik dari awal sudah salah. Saat masuk ke level kedua, ia masih berpegang pada teori yang salah itu, dan akhirnya terjebak di dalamnya.
Cara Nvidia adalah tidak menyentuh modelnya, hanya menambahkan satu lapisan "kulit" di luarnya.
Dengan demikian, Claude Opus 5 yang sama, nilainya langsung melonjak dari 30-an menjadi sempurna.
Kemudian X langsung meledak. Di satu sisi diisi dengan "ARC-AGI-3 telah tumbang" "saatnya ganti papan peringkat baru", di sisi lain banyak yang langsung memuji langkah Nvidia kali ini terlalu hebat.
Dengan tren seperti ini, lonjakan level model berikutnya mungkin bukan menunggu model baru, tetapi menunggu pembaruan harness.
Lompatan ke 100, Dirakit Hanya dari Dua Hal
Lalu apa sebenarnya yang dipasang Nvidia di luar model itu, yang bisa mengisi tiga kekurangan ini sekaligus?
Sama seperti DeepSeek Harness dan Codex Harness yang baru-baru ini viral, AVO juga mengelola serangkaian hal di luar model.
Termasuk konteks apa yang diberikan, alat apa yang diberikan, cara menyimpan status, cara menerima umpan balik, apa yang dilakukan jika terjebak, dan bagaimana melanjutkan setelah konteks penuh, dll.
Secara khusus mekanismenya, yang benar-benar berperan adalah dua hal.
Pertama adalah memori persisten.
Titik kritis dalam tugas jangka panjang adalah konteks akan penuh.
Begitu penuh, memori model ter-reset, semua yang pernah dicoba, jalan mana yang mentok, hasil apa yang dikeluarkan profiler, semuanya hilang.
Di putaran berikutnya, ia akan menginjak lubang yang sama dari awal lagi.
AVO akan menyimpan semua ini, versi implementasi sebelumnya, hasil setiap evaluasi, keluaran kompilator dan analyzer, proses penalaran yang terkumpul, semua ada di dalamnya.
Setelah konteks di-reset, agen melanjutkan dari status saat ini, bukan membangun kembali seluruh pencarian dari nol.
Kedua adalah pengawas.
Agen utama bertanggung jawab untuk fokus bekerja, apa yang dilihat, diubah, diuji, dan diserahkan semuanya ditentukan sendiri olehnya.
Pengawas tidak bekerja, hanya mengawasi seluruh jalur pencarian dari samping. Begitu menemukan kemajuan mandek, atau agen mulai berputar-putar melakukan pekerjaan sia-sia berulang kali, ia akan menarik agen utama ke strategi lain.
Ada satu detail lagi.
AVO menjalankan ARC-AGI-3 sepenuhnya menggunakan modalitas teks murni, setiap frame observasi yang diberikan ke model adalah grid teks 64×64 yang tepat, tanpa satu gambar pun, tidak ada satu token gambar pun yang dikirim.
Artinya, dalam game yang penuh layar dengan piksel, model tidak pernah melihat gambarnya sama sekali dari awal hingga akhir.
Mekanisme ini menghasilkan laporan nilai yang menyelesaikan 183 level dalam 6624 langkah dan RHAE mencapai sempurna.
Kesimpulan Nvidia dari sini adalah, kemampuan jangka panjang tidak pernah dimiliki model secara terpisah, tetapi dirakit oleh seluruh sistem.
Memori menentukan hal-hal apa yang bisa bertahan ke putaran berikutnya, alat menentukan tindakan apa yang bisa dilakukan agen, umpan balik membuatnya tahu apakah telah salah jalan.
Dan saat hipotesis terbukti salah, apakah bisa kembali dan melanjutkan, menentukan apakah pekerjaan ini bisa terus dilakukan.
Ia Pertama-tama Merevolusi Nasib Nvidia Sendiri
Yang menarik adalah, AVO sama sekali tidak dibuat untuk bermain game. Medan utamanya adalah optimisasi operator GPU.
Pada 25 Maret tahun ini, Nvidia mengunggah sebuah makalah ke arXiv, berjudul "AVO: Agent-Variant Operator for Autonomous Evolutionary Search".
Alamat makalah: https://arxiv.org/abs/2603.24517
Dalam judul ada dua kata kunci, satu adalah pencarian evolusioner, satunya lagi operator variasi.
Pencarian evolusioner sendiri tidak rumit. Memegang sekumpulan kode kandidat, mengubahnya, menjalankannya, mempertahankan versi tercepat, lalu mengubahnya lagi, terus mendorong generasi demi generasi.
Yang bertanggung jawab untuk langkah "mengubah" ini, dalam algoritma evolusioner disebut operator variasi. Dulu ini ditulis mati, cara mengubahnya ditentukan orang sebelumnya; kemudian diganti dengan LLM untuk mengubah, juga hanya menyesuaikan sekali dan mengeluarkan segmen kode.
Cara AVO adalah, mengganti seluruh operator variasi menjadi agen otonom.
Dengan demikian, ia tidak hanya bisa membuka panduan pemrograman CUDA dan dokumen arsitektur PTX, menjalankan tes, membaca profiler, tetapi juga mendiagnosis sendiri kesalahan kebenaran, lalu memutuskan bagian mana yang akan diubah pada versi berikutnya.
Tim menempatkannya di B200, tugasnya adalah mengoptimalkan kernel perhatian, ini adalah operator yang paling diekstraksi dalam Transformer. Kemudian orang-orang melepaskannya.
AVO berjalan otonom terus menerus selama 7 hari, menjelajahi lebih dari 500 arah optimisasi, akhirnya menyerahkan 40 versi kernel yang efektif.
Kernel perhatian multi-head yang dihasilkan, hingga 3.5% lebih cepat daripada cuDNN milik Nvidia sendiri yang bersifat tertutup, dan hingga 10.5% lebih cepat daripada implementasi open-source paling mutakhir FlashAttention-4.
Kemudian ia memindahkan serangkaian optimisasi ini ke GQA yang sekarang menjadi arus utama model besar. Kali ini hanya berjalan otonom sekitar 30 menit, kernel baru sudah 7.0% lebih cepat daripada cuDNN, dan 9.3% lebih cepat daripada FlashAttention-4.
Menulis kernel CUDA secara manual selalu menjadi pekerjaan dengan ambang tertinggi di ekosistem ini, dan AVO adalah yang pertama melampauinya.
Dan 25 game di ARC-AGI-3 itu, menggunakan sistem yang sama persis ini.
Menyetel kernel dan bermain game, kedengarannya adalah dua hal yang sama sekali tidak berhubungan. Namun menurut Nvidia, di balik dua hal ini berjalan siklus yang sama.
Agen pertama-tama membangun hipotesis dari bukti yang tidak lengkap, mencoba, mengamati hasil, menyimpan status yang berguna, lalu memperbaiki pemahaman tentang masalah. Jika hipotesis salah, mundur dan memikirkan kembali, lalu bergulir putaran demi putaran.
Menurut istilah Nvidia sendiri, yang bisa ditransfer bukan pengetahuan domain, tetapi mekanisme yang mempertahankan kemajuan otonom jangka panjang.
Yang Membuatnya, Adalah Tim Berbasis Tionghoa
Jika menarik daftar nama penulis makalah AVO itu, akan terlihat serangkaian nama yang sangat familiar.
23 nama yang tercantum, hampir mengumpulkan tokoh-tokoh kunci infrastruktur pembelajaran mendalam open-source dalam sepuluh tahun terakhir.
Salah satu penulis bersama pertama, Bing Xu, adalah Distinguished Engineer Nvidia, dan juga pencipta MXNet. Lebih awal lagi, ia adalah penulis keempat dari makalah asli GAN tahun 2014, bersama penulis terakhir Yoshua Bengio yang terdaftar di Universitas Montreal.
Pencipta TVM dan XGBoost, Tianqi Chen, juga ada dalam daftar. Garis TVM ini juga menarik Luis Ceze, keduanya bersama mendirikan OctoAI yang dibeli Nvidia pada September 2024, Ceze kemudian bergabung dengan Nvidia untuk terus mengerjakan kompiler pembelajaran mesin.
Selanjutnya adalah pencipta FlashInfer, Zi Hao Ye, dan veteran kompiler CUDA, Vinod Grover.
Yang memimpin adalah Humphrey Shi, Wakil Presiden AI Kinerja Tinggi Nvidia, sekaligus profesor di Georgia Tech. Penulis bersama pertama lainnya, Zhifan Ye, adalah mahasiswa doktoral yang sedang belajar di Georgia Tech.
Blog kali ini ditandatangani lima nama, empat di antaranya orang Tionghoa, selain Humphrey Shi ada Terry Chen, Zhifan Ye dan Yeyin Zhu, yang tersisa adalah Jean-Francois Puget, Kaggle Grandmaster dua kali juara dari Nvidia.
Bagian paling menarik berasal dari kisah pribadi Bing Xu sebelumnya di X.
Satu setengah tahun lalu ketika dia dan Terry Chen baru mulai memprogram agen di Nvidia, keduanya tidak memahami pemrograman GPU.
Justru karena tidak paham, sejak hari pertama mereka menuju sistem yang sepenuhnya otomatis, tanpa campur tangan manusia, dan memberi nama pendekatan ini sebagai "pemrograman buta".
Satu setengah tahun kemudian, sistem yang tidak mengandalkan perintah manusia ini, melampaui kernel yang telah dioptimalkan ahli manusia selama berbulan-bulan.
Tagihannya Akhirnya Dibayarkan ke Kartu Grafis Huang Renxun
Sebuah perusahaan yang menjual kartu grafis, mengapa menghabiskan waktu satu setengah tahun untuk membuat agen otonom yang tidak memerlukan campur tangan manusia?
Karena lapisan kulit ini, cocok untuk model siapa pun.
AVO telah menjalankannya lintas model. Level yang sama, dengan GPT-5.6 Sol membutuhkan waktu lebih singkat, jika diganti dengan Opus 5 maka lebih hemat langkah.
Nvidia tidak menghasilkan uang dari menjual model, tetapi lapisan ini bisa dipertahankannya. Ini juga sejalan dengan pendekatan keseluruhannya dalam dua tahun terakhir.
Sisi model mengambil jalan open-source. Nemotron 4 yang didorong Agustus tahun ini menargetkan skala parameter triliunan, diharapkan selesai pelatihan pada musim gugur, model diberikan gratis, uang diperoleh dari GPU dan software stack di belakangnya.
Sisi daya komputasi, agen jangka panjang justru menjadi beban kerja yang paling diinginkannya. Huang Renxun tahun ini di GTC memberikan penilaian bahwa titik balik inferensi telah tiba. Dua tahun terakhir kebutuhan daya komputasi meningkat sekitar sepuluh ribu kali, sedangkan penggunaan hanya meningkat sekitar seratus kali, selisih di antaranya semuanya dimakan oleh inferensi.
Jadi, model milik siapa yang digunakan tidak penting. Selama pekerjaan agen semakin lama dan semakin berat, tagihan akhirnya akan dibayarkan ke kartu grafis mereka.
Sedangkan tiga kata "100 poin", saat ini memang sedang terdepresiasi dengan cepat.
Maret lalu belum ada yang bisa mencapai 1 poin, Tycho akhir Juli pertama kali meraih nilai sempurna, VISTA pada 5 Agustus meraihnya lagi, laporan nilai AVO ini sudah yang ketiga dalam enam minggu, dan ketiganya seragam didorong oleh Claude Opus 5.
Tapi hal yang berhasil dilakukan AVO tidak akan menyusut karenanya.
Sebuah arsitektur yang lahir untuk memeras beberapa persen terakhir FlashAttention di B200, hampir tanpa perubahan dipindahkan ke game piksel, lalu berhasil dijalankan.
Yang diganti hanyalah antarmuka tugas dan cara evaluasi, inti siklusnya tidak diubah satu baris pun.
Seperti yang ditulis Nvidia di akhir blog, model penting, tetapi model bukanlah keseluruhan agen.
Referensi:
https://developer.nvidia.com/blog/nvidia-avo-reaches-100-on-arc-agi-3-demonstrating-a-frontier-level-general-purpose-architecture-for-long-horizon-autonomous-agents/
Artikel ini berasal dari akun WeChat "新智元", penulis: ASI启示录, editor: Mo Xi
