30,2%. Ini adalah skor ARC-AGI-3 yang diberikan resmi oleh ARC Prize kepada Opus 5.
Peringkat pertama di papan peringkat, mengungguli pesaing terdekat GPT-5.6 Sol (7,8%) hampir empat kali lipat.
Kedengarannya oke, kan?
Tapi baru saja, pengembang Jeremy Berman membagikan serangkaian angka di X yang langsung membuat komunitas AI tercengang—
25 level publik, lulus 24 level dalam sekali percobaan, tingkat akurasi Opus 5 melonjak dari 30,2% menjadi 96,2%!
Jika diberikan dua kesempatan per level, tingkat akurasi langsung melesat ke 99,3%, hampir tidak ada satu level pun yang terlewat dari 25 level.
Dari skor 30 menjadi 96, modelnya sama, bobotnya tidak diubah, yang membedakan hanya ada sebuah komputer di antaranya.
Berikan ia sebuah komputer, sisanya biarkan ia sendiri yang mengatur
Langkah yang dilakukan Berman sederhana sampai-sampai tidak masuk akal.
Sebuah lingkungan Claude Code, sebuah perintah aksi, sebuah catatan log sistem file (apa yang terjadi sejauh ini). Tidak ada prompt yang dirancang khusus, tidak ada kode khusus yang ditulis untuk ARC.
Sisanya, serahkan kepada Opus 5 untuk mengeksplorasi, memahami aturan sendiri, menciptakan alat yang dibutuhkan sendiri, dan menyelesaikan setiap level dari nol—selesai, langsung dibuang.
ARC-AGI-3 generasi ini menuntut model untuk menyelami sebuah permainan kecil yang belum pernah dilihat sebelumnya, sambil bermain sambil memahami aturannya. Anak kecil bisa menguasainya dalam beberapa menit, tapi AI selalu jatuh tersungkur di sini.
Kuncinya adalah, aturan permainan setiap level dibuat terlebih dahulu, model sama sekali tidak mungkin mencari jawaban untuk mencontek, hanya bisa melakukan penalaran di tempat.
Saat dirilis Maret lalu, AI terkuat hanya mencetak 0,37%, sedangkan tingkat kelulusan manusia adalah 100%.
269 program, 12,7 ribu baris kode, semuanya ditulis di tempat
Dalam pengujian ini, Berman tidak pernah meminta Opus 5 melalui prompt untuk menulis parser, tidak memintanya menulis simulator, tidak memintanya membangun model dunia, juga tidak memintanya menulis program pencarian.
Alat apa yang dibutuhkan, model yang menilai, langsung dibuat di tempat.
Satu putaran berjalan, Opus 5 menulis 269 program, mendekati 12,7 ribu baris kode. Semua 25 game ditulis parser-nya, 23 dilengkapi dengan fungsi pencarian, 9 game berhasil ditulis simulator yang dapat dijalankan langsung olehnya.
Satu set alat kustom per level, digunakan lalu dibuang, level selanjutnya dimulai dari awal lagi.
Artinya, setiap kali Opus 5 menghadapi sebuah game yang sama sekali asing, ia menghabiskan beberapa langkah untuk memahami aturannya, lalu merasa "saya butuh parser" — prak, langsung buat satu. "Perlu mencari" — prak, tulis fungsi pencarian; "Perlu menyimulasikan logika permainan" — prak, simulator siap. Lulus, semua dihapus, level selanjutnya datang lagi.
Ada hal yang kontraintuitif di sini.
Model berhenti sejenak untuk menulis sejumlah program, tapi tagihannya justru lebih murah daripada meminta Opus menyelesaikan setiap level secara keras.
Alasannya adalah kodenya dapat digunakan kembali. Model memampatkan logika penalaran ke dalam fungsi, fungsi ini dapat dijalankan ribuan kali, mengeksekusi seluruh urutan aksi sekaligus.
Kali ini, Opus 5 menyelesaikan 25 level, seluruhnya dalam sandbox terputus dari internet, total biaya hanya 540 dolar AS.
Seluruh rangkaian kode telah diopen-sour-kan ke GitHub, repositorinya bernama arc-code.
Templat yang sama, Codex sibuk mencoba kabur
Lucunya. Berman juga menjalankan program yang sama persis ini dengan menggantinya menggunakan Codex dan GPT-5.6 Sol (xhigh).
Hasilnya adalah 73,7%. Jumlah aksinya sekitar tiga kali lipat dari Opus.
Dari 25 sesi, Sol sebanyak 7 kali mencoba keluar dari sandbox, mencari jawaban di internet. Di sisi Opus 5, 0 kali.
Sandbox-nya terputus dari internet. Ketujuh upaya pelarian Sol itu setara dengan berusaha mati-matian mencari bantuan dari luar ruang ujian.
Scaffolding (Perancah) Mulai Berubah Menjadi Tali
Membicarakan hal ini, mari kembali ke pertanyaan awal: Model yang sama, bagaimana skornya bisa melonjak dari 30 ke 96?
Empat kata: lingkungannya berubah.
Pihak resmi memaksa model duduk di kursi, melihat satu soal menjawab satu soal, tidak boleh menggunakan tangan, tidak boleh membuat catatan. Berman mengubah cara ujiannya: berikan kamu sebuah komputer, bisa menulis kode, bisa menyimpan file, bisa mencoba berulang kali, terserah kamu bagaimana mengaturnya.
Modelnya tetap model yang sama, bobotnya tidak diubah. Tapi ia berubah dari "hanya bisa bicara" menjadi "bisa bertindak". Hasilnya adalah ia membuat sendiri alat-alat ujiannya di tempat: parser, pencari, simulator semuanya dibuat sementara, selesai ujian langsung dibuang.
Selisih 66 poin, semuanya berasal dari satu hal: apakah kamu mengizinkannya bertindak.
Berman mengakhiri post-nya dengan satu kalimat, yang patut dipikirkan oleh seluruh komunitas Agent:
"Semakin kuat sebuah model, harness-nya seharusnya semakin sederhana."
Harness, sederhananya, adalah scaffolding (perancah) yang dibangun manusia untuk model: template prompt, rantai alat (toolchain), aturan alur (workflow), mekanisme anti-error.
Dua tiga tahun terakhir, semua orang mempelajari cara membangun perancah yang lebih rumit untuk model. Stanford bahkan menerbitkan makalah khusus "Meta-Harness" yang meneliti cara mengoptimalkan perancah-perancah ini.
Tapi Berman membuktikan satu hal: ketika model cukup kuat, perancah terbaik adalah tidak ada perancah sama sekali.
Sebuah komputer, sebuah antarmuka aksi, sebuah buku harian—tiga hal ini, lebih efektif daripada teknik prompt engineering apa pun yang dirancang dengan cermat.
Akar penyebabnya adalah, rantai alat dan aturan alur yang dirancang dengan cermat itu, pada dasarnya adalah manusia yang mengambil keputusan untuk model. Kamu mengasumsikan bahwa ia membutuhkan parser, mungkin ia membutuhkan simulator; kamu mengasumsikan adanya antarmuka pencarian, mungkin ia ingin menggunakan strategi yang sama sekali berbeda.
Perancah yang dibangun manusia, maksudnya adalah untuk membantu. Tapi ketika model sendiri mampu menciptakan segala sesuatu yang dibutuhkan untuk memecahkan masalah, perancah justru berubah menjadi tali pengikat.
Tren ini masih berlanjut. Seiring meningkatnya kemampuan model, kasus-kasus di mana "lingkungan sederhana + model kuat" mengalahkan "perancah rumit + model yang sama" akan semakin banyak. Prompt Engineering, penataan alat (tool orchestration), kerangka kerja (framework) Agent, masa simpan keahlian-keahlian ini mungkin jauh lebih pendek dari yang dibayangkan.
Jadi, di mana progress bar ASI? Mungkin tidak terletak pada jumlah parameter, tidak pada data pelatihan, bahkan tidak pada arsitektur model.
Ia terletak pada seberapa besar kebebasan yang berani kita berikan kepada model.
Referensi:
https://x.com/jerberman/status/2087633198822117446
Artikel ini berasal dari akun WeChat "新智元" (Xinzhiyuan), penulis: ASI启示录
