Baru saja, masalah terakhir dari FrontierMath Tier 4, telah ditaklukkan oleh GPT-6 Astra.
Sejak saat ini, kumpulan tes tingkat riset yang dulu dianggap sebagai mimpi buruk matematika model besar ini, semua soalnya telah setidaknya berhasil dipecahkan oleh AI satu kali.
Epoch AI juga secara resmi memberikan kesimpulan, FrontierMath Tier 4, telah jenuh.
Meskipun dari gambar di atas, Astra belum langsung mencapai 100%, skor yang dipublikasikan OpenAI sendiri juga 97.6%.
Tapi menurut algoritma Epoch, "terpecahkan semua" berarti setelah mengakumulasi upaya dari model yang berbeda dan waktu yang berbeda, setiap soal di Tier 4 setidaknya pernah berhasil dipecahkan.
Dan soal yang dipecahkan Astra, adalah satu-satunya yang sebelumnya belum pernah berhasil ditembus oleh AI.
(Secara sederhana, bisa jadi Astra melakukan kesalahan dalam salah satu pengujian, tetapi soal yang berhasil dipecahkannya adalah yang sebelumnya belum pernah terpecahkan)
Jujur saja, kecepatan perkembangan ini cukup luar biasa.
Jika Anda mengikuti evaluasi model, Anda pasti tahu pada 11 Juli 2025, ketika Tier 4 baru diluncurkan, skor tertinggi di papan peringkat hanya sekitar 5%.
Sekarang, baru satu tahun dua bulan kemudian, "tembok tinggi" yang dulu ini telah berubah menjadi "anak tangga", masalah terakhir yang sulit dihindari AI dengan jalan pintas pun telah berhasil dilalui.
Pembuat soal, Jay Pantone, profesor matematika di Marquette University, juga mengatakan, sebelumnya AI selalu mencari jalan pintas numerik, tetapi kali ini, metode pemecahan AI cukup mirip dengan miliknya sendiri.
Namun, tepat saat GPT-6 Astra baru-baru ini secara intensif menyerang dunia matematika, menyelesaikan masalah Milenium satu demi satu, Pantone mengatakan dirinya sudah sulit untuk terkejut lagi!
Bisa dibilang, matematika kini telah menjadi salah satu bidang di mana Astra paling gencar menunjukkan eksistensinya.
Dari kurang dari 2%, hingga khusus menambahkan satu "garis pertahanan tingkat riset"
FrontierMath pertama kali diluncurkan pada 7 November 2024, dan tujuan kelahirannya sendiri adalah untuk menghindari Benchmark matematika terlalu cepat ditembus oleh AI.
Pada saat itu, Benchmark matematika tradisional seperti GSM8K, MATH semakin sulit membedakan model-model terdepan, sehingga Epoch AI bekerja sama dengan lebih dari 60 matematikawan, merancang ulang sejumlah soal orisinal yang sebelumnya belum pernah dipublikasikan.
Di antaranya, termasuk pemenang Fields Medal seperti Terence Tao, Timothy Gowers, Richard Borcherds.
Terence Tao saat itu, setelah melihat beberapa soal tingkat riset, mengatakan dengan tegas bahwa soal-soal tersebut "sangat sulit", bahkan memperkirakan Tier 3 yang paling sulit, mungkin masih bisa menghalangi AI selama beberapa tahun lagi.
Hasilnya, setelah putaran pengujian pertama, seperti yang diduga, akurasi model terdepan masih di bawah 2%.
Secara spesifik, pada awalnya, bank soal inti FrontierMath terdiri dari 300 soal, dibagi berdasarkan tingkat kesulitan menjadi tiga tingkat: Tier 1, Tier 2, dan Tier 3.
Tier 1 kira-kira setara dengan soal tingkat sarjana sulit dan olimpiade matematika, tetapi diperbolehkan menggunakan alat yang lebih canggih; Tier 2 sudah mencapai tingkat kesulitan mahasiswa pascasarjana tingkat tinggi; Tier 3 lebih mendekati masalah eksplorasi riset yang mungkin dihadapi mahasiswa doktoral di tahap awal.
Namun, seiring munculnya model penalaran, tiga tingkat pertama ini juga semakin tidak memadai, sehingga pada 2025, Epoch menambahkan satu tingkat lagi di atasnya, Tier 4.
Tier 4 sebagian besar dirancang oleh profesor matematika dan peneliti postdoctoral. Setiap orang akan melakukan penelitian jangka pendek selama beberapa minggu yang berfokus pada bidang penelitian mereka sendiri, kemudian mengompres hasilnya menjadi satu masalah yang dapat diverifikasi secara otomatis.
Awalnya, Tier 4 mengumpulkan total 50 soal. Cakupannya meliputi analisis, teori bilangan, matematika kombinatorial, topologi, geometri aljabar......
Pada saat peluncuran, dari semua pengujian yang dilakukan berbagai model, hanya 3 soal yang pernah berhasil dipecahkan, dan solusi tersebut masih bergantung pada beberapa asumsi yang benar tetapi tidak didukung argumen yang memadai.
Mengingat hal ini, di halaman contoh soal publik di situs resminya, Epoch pernah menulis: Beberapa soal di antaranya, mungkin tidak akan terpecahkan oleh AI selama beberapa puluh tahun.
(Kalimat ini sekarang mulai berulang kali dijadikan bahan ejekan)
Namun, seiring model yang semakin kuat, masalah lain juga terungkap: bank soal itu sendiri mulai tidak tahan dengan "interogasi" AI.
OpenAI dalam proses pengujian menemukan, kesalahan dalam FrontierMath lebih banyak dari yang diperkirakan.
Kemudian Epoch memulai audit independen, pertama-tama menggunakan GPT-5.5 dan Claude Opus 4.7 untuk menyaring titik-titik yang dipertanyakan, kemudian diserahkan kepada matematikawan untuk diperiksa ulang per soal. Akhirnya pada Juni 2026 meluncurkan versi v2, di mana Tier 4 memperbaiki 12 soal, menghapus 7 soal, menyisakan 43 soal.
Setelah revisi, skor model tetap terus meroket.
GPT-5.6 Sol mencapai 83.0%, Claude Fable 5 mencapai 90.2%, dan pada GPT-6 Astra, skornya sudah mencapai 97.6%.
Yang lebih krusial, Astra juga berhasil memecahkan satu-satunya soal yang sebelumnya belum pernah berhasil dipecahkan oleh AI.
Sejak saat ini, setiap soal di Tier 4, setidaknya telah berhasil ditembus oleh AI satu kali. Garis pertahanan tingkat riset yang khusus ditambahkan untuk model terkuat ini, akhirnya juga berhasil ditembus.
Namun, ini tidak berarti "matematika telah diselesaikan oleh AI". Justru sebaliknya, FrontierMath sendiri telah bergerak ke tahap berikutnya.
Sekarang, selain Tiers 1-4, seluruh proyek ini juga menambahkan Open Problems yang sesungguhnya, serta FrontierMath Erdős yang memformalkan masalah terbuka Erdős ke dalam Lean.
Yang pertama langsung menguji model dengan masalah riset yang belum diselesaikan oleh dunia matematika; yang kedua mengharuskan AI menulis bukti lengkap yang dapat lulus verifikasi formal.
Kali ini, Astra dari 68 masalah di FrontierMath Erdős, hanya berhasil memecahkan 2.
Cerita masih berlanjut~
Artikel ini berasal dari akun WeChat publik "量子位", penulis: henry
