Claude tiba-tiba menjadi bodoh, heboh di seluruh internet!
Baru kemarin, pengembang argofowl menghabiskan sepanjang sore, hampir membongkar Claude Code sampai habis.
Dia menelusuri satu per satu, awalnya menduga t3 code yang rusak, kemudian mengira kodenya sendiri yang ada bug.
Sampai akhirnya, dia bahkan mulai curiga—jangan-jangan Mac-nya yang rusak?
Saat argofowl akhirnya membuka log permintaan API yang sebenarnya, semuanya terungkap, di sana tertulis jelas sebuah angka "10".
Padahal, di backend Claude Code, dia jelas-jelas memilih "high", tingkat penalaran tertinggi.
Siapa sangka, catatan pembaruan Claude Code, tidak ditulis satu kata pun.
Penalaran 'high' berubah menjadi 10
Claude Code Ketahuan Jadi Bodoh
argofowl menemukan, mulai dari Claude Code 2.1.237, model membaca tingkat penalaran "high" sebagai 10 out of 100.
Dan angka ini, persis nilai yang dulu sesuai dengan level "low".
Setelah diteliti lebih lanjut, Anthropic memasukkan sesi Fable 5 dari versi Claude Code 2.1.236 ke atas, ke dalam sebuah eksperimen "kompresi skala nilai effort".
Namun, versi lama dan Opus 5 tidak terpengaruh.
Ini kemungkinan besar adalah tes A/B, jadi tidak semua orang akan mengalaminya.
Bagi pengembang, inilah masalah sebenarnya. Model sedikit lebih kuat atau lemah, masih bisa ditolerir.
Tapi kamu memasukkan saya ke dalam grup eksperimen, tanpa berniat memberi tahu: Jadi, sepanjang sore ini saya debugging apa? Sedang menyesuaikan kode saya sendiri, atau menyesuaikan tes A/B-mu?
Tidak diduga, setelah dibagikan oleh blogger teknologi Chubby, komunitas AI langsung meledak—
Kelihatannya, Anthropic diam-diam membuat model menjadi lebih bodoh, tanpa memberi tahu siapa pun.
Seketika, postingan tes mandiri "Apakah Claude Jadi Bodoh?" membanjiri X.
Ada yang membandingkan keluaran dari prompt yang sama di versi berbeda, ada yang membuka catatan percakapan dua minggu lalu dan melakukan perbandingan baris demi baris.
Anthropic Mengakui Kesalahan, Insinyur Turun Tangan
Menghadapi badai ini, tanggapan insinyur Claude Code Thariq Shihipar datang dengan cepat.
Kadang-kadang kami menguji konfigurasi layanan API di Claude Code terlebih dahulu, sebelum memutuskan apakah akan meluncurkan secara penuh atau tidak.
Eksperimen yang sedang berjalan ini hanya mengubah cara pemetaan nilai effort. Jadi beberapa orang akan melihat Claude mengatakan dirinya adalah "10".
Kuncinya adalah, skala ini bukan dari 0 sampai 100, angka itu sendiri tidak ada artinya, effort yang kamu pilih adalah effort yang kamu dapatkan.
Dia menekankan, tim telah melakukan evaluasi mendalam untuk memastikan, ini tidak mempengaruhi kinerja model.
Penurunan Kecerdasan Besar Opus 5, Nyata Adanya
Baru saja menyelesaikan masalah Fable, Chubby lagi-lagi menyatakan, Opus 5 sekarang terasa seperti penurunan kualitas yang signifikan.
Ia selalu asal-asalan, sering melakukan kesalahan dasar. Begitu ditunjukkan bahwa ia tidak menjalankan instruksi, ia hanya akan membalas secara mekanis dengan kalimat itu—
Kamu benar, itu kelalaian saya. Bolak-balik, tidak ada habisnya.
Sebenarnya, beberapa hari lalu, sudah ada yang menemukan masalah penurunan kecerdasan Opus 5 yang jelas.
Selain masalah yang disebutkan di atas, ia juga membuat bug, kemudian menghabiskan banyak waktu memperbaiki bug, berulang kali mengoreksi diri sendiri dalam tugas yang sama.......
Setelah ditanyai oleh netizen, insinyur Thariq akhirnya mengakui secara terbuka—Opus 5 adalah model yang "kinerjanya sangat tidak stabil", naik turun, tidak konsisten.
Tim internal sedang berusaha keras menyelesaikan masalah ini, ini adalah prioritas tertinggi bagi kami.
Skor Benchmark Selalu Naik
Pengalaman Pengguna Terus Menurun
Gelombang Opus 5 ini, sebenarnya menyibak luka paling memalukan di seluruh industri:
Skor benchmark dan pengalaman pengguna, sedang secara sistematis terlepas.
Di satu sisi, ada laporan nilai yang cemerlang hingga hampir sempurna: skor komprehensif 82.72, SWE-bench Pro 79.2%, Terminal-Bench 86.7%.
Di sisi lain, ada persepsi nyata pengguna yang justru sebaliknya: "bertele-tele", "malas", "suka membantah".
Tempat paling absurdnya adalah, kedua penilaian ini muncul bersamaan pada Opus 5.
Dan, "model menjadi bodoh" juga bukan masalah Anthropic saja.
Saat ini, pembaruan versi model besar, sedang menjadi kotak hitam paling tidak transparan di seluruh industri AI.
Perangkat lunak tradisional memiliki nomor versi yang bermakna, catatan pembaruan, dan mekanisme rollback. Pengembang dapat mengetahui dengan jelas, versi mana yang sedang digunakan, perubahan apa yang terjadi.
Model besar, berbeda.
Di bawah nama model yang sama, server dapat kapan saja melakukan tes A/B, mengganti skema kuantisasi, menyesuaikan routing model, bahkan mengubah sumber daya inferensi.
Satu-satunya dasbor yang dimiliki orang, hanyalah pengalaman pribadi mereka.
Sayangnya, intuisi, adalah hal yang paling mudah ditolak dan paling sulit dibuktikan salah.
Nilai terbesar dari gelombang ini, adalah menempatkan luka lama yang telah lama ada di industri, sepenuhnya di atas meja:
Saat model menjadi infrastruktur, stabilitas adalah kontrak kepercayaan. Skor benchmark bisa digunakan untuk pemasaran, stabilitas hanya bisa dibuktikan dengan pemenuhan berulang kali.
Referensi:
https://x.com/trq212/status/2091252347913773169?s=20
https://x.com/kimmonismus/status/2091178321669198014
Artikel ini berasal dari akun WeChat publik "新智元", penulis: ASI启示录, editor: 桃子
