Baru Saja, Claude Fable 5, Kembali Jadi Juara Pertama
Claude Fable 5 kembali menduduki posisi pertama dengan sukses mutlak 64% dalam peringkat pemrograman AI MirrorCode, mengungguli pesaing terdekat GPT-5.6 Sol yang hanya meraih sepertiga skornya. Yang lebih mencolok, performa Fable 5 hampir sama kuatnya saat menggunakan bahasa pemrograman populer seperti Go (64%) dan bahasa yang lebih jarang seperti Ada (61%), hanya turun 3 poin persentase—padahal materi pelatihan Python di dunia open source sekitar 230 kali lebih banyak daripada Ada. Ini mengindikasikan bahwa model terkuat mulai mampu memahami dan membangun kembali logika perangkat lunak secara mandiri, tidak hanya mengandalkan hafalan sintaks.
Benchmark MirrorCode yang ketat mensyaratkan penyelesaian 100% pada tes tersembunyi dan kasus tepi, dengan anggaran hingga 100 miliar token dan waktu eksekusi hingga 19 hari. Dalam satu kasus, Claude Opus 4.7 hampir menyelesaikan alat bioinformatika gotree (99.95% tes) dalam 14 jam, pekerjaan yang diperkirakan membutuhkan manusia 2 hingga 17 minggu.
Tren ini menunjukkan pergeseran dalam pemanfaatan AI: dari menulis potongan kode menjadi menangani proyek perangkat lunak skala menengah hingga besar secara mandiri. Seperti yang ditunjukkan oleh eksperimen Cursor (1 juta baris kode browser) dan Anthropic (kompiler C 100k baris), masa depan akan lebih menghargai mereka yang dapat mendefinisikan masalah dengan jelas dan memverifikasi hasil, sementara produksi kode menjadi semakin otomatis dan terjangkau.
marsbitKemarin 08:33
