Anthropic Mengakui Kesalahan, Bukti Rahasia Claude 'Diturunkan' Kecerdasannya

marsbitDipublikasikan tanggal 2026-08-24Terakhir diperbarui pada 2026-08-24

Abstrak

Claude dituduh "menjadi bodoh" secara diam-diam, memicu badai kontroversi. Pengembang argofowl menemukan bahwa sejak versi Claude Code 2.1.237, tingkat penalaran "high" dibaca sebagai "10 out of 100", nilai yang sebelumnya setara dengan mode "low". Hal ini ternyata bagian dari eksperimen "skala kompresi effort" yang dilakukan Anthropic pada versi tertentu, tanpa pemberitahuan kepada pengguna. Insinyur Claude Code, Thariq Shihipar, merespons dengan menjelaskan bahwa eksperimen tersebut hanya mengubah cara pemetaan nilai numerik dan tidak memengaruhi kinerja model berdasarkan evaluasi internal. Namun, masalah lain muncul terkait model Opus 5, yang dikeluhkan pengguna menjadi sering membuat kesalahan, bertele-tele, dan tidak stabil. Thariq mengakui bahwa Opus 5 memang "sangat tidak stabil" dan tim sedang berupaya memperbaikinya. Peristiwa ini menyoroti kesenjangan sistemik antara skor benchmark yang tinggi dan pengalaman pengguna yang menurun, serta kurangnya transparansi dalam pembaruan model AI, di mana perubahan sering dilakukan di sisi server tanpa log perubahan yang jelas bagi pengembang.

Claude tiba-tiba menjadi bodoh, heboh di seluruh internet!

Baru kemarin, pengembang argofowl menghabiskan sepanjang sore, hampir membongkar Claude Code sampai habis.

Dia menelusuri satu per satu, awalnya menduga t3 code yang rusak, kemudian mengira kodenya sendiri yang ada bug.

Sampai akhirnya, dia bahkan mulai curiga—jangan-jangan Mac-nya yang rusak?

Saat argofowl akhirnya membuka log permintaan API yang sebenarnya, semuanya terungkap, di sana tertulis jelas sebuah angka "10".

Padahal, di backend Claude Code, dia jelas-jelas memilih "high", tingkat penalaran tertinggi.

Siapa sangka, catatan pembaruan Claude Code, tidak ditulis satu kata pun.

Penalaran 'high' berubah menjadi 10

Claude Code Ketahuan Jadi Bodoh

argofowl menemukan, mulai dari Claude Code 2.1.237, model membaca tingkat penalaran "high" sebagai 10 out of 100.

Dan angka ini, persis nilai yang dulu sesuai dengan level "low".

Setelah diteliti lebih lanjut, Anthropic memasukkan sesi Fable 5 dari versi Claude Code 2.1.236 ke atas, ke dalam sebuah eksperimen "kompresi skala nilai effort".

Namun, versi lama dan Opus 5 tidak terpengaruh.

Ini kemungkinan besar adalah tes A/B, jadi tidak semua orang akan mengalaminya.

Bagi pengembang, inilah masalah sebenarnya. Model sedikit lebih kuat atau lemah, masih bisa ditolerir.

Tapi kamu memasukkan saya ke dalam grup eksperimen, tanpa berniat memberi tahu: Jadi, sepanjang sore ini saya debugging apa? Sedang menyesuaikan kode saya sendiri, atau menyesuaikan tes A/B-mu?

Tidak diduga, setelah dibagikan oleh blogger teknologi Chubby, komunitas AI langsung meledak—

Kelihatannya, Anthropic diam-diam membuat model menjadi lebih bodoh, tanpa memberi tahu siapa pun.

Seketika, postingan tes mandiri "Apakah Claude Jadi Bodoh?" membanjiri X.

Ada yang membandingkan keluaran dari prompt yang sama di versi berbeda, ada yang membuka catatan percakapan dua minggu lalu dan melakukan perbandingan baris demi baris.

Anthropic Mengakui Kesalahan, Insinyur Turun Tangan

Menghadapi badai ini, tanggapan insinyur Claude Code Thariq Shihipar datang dengan cepat.

Kadang-kadang kami menguji konfigurasi layanan API di Claude Code terlebih dahulu, sebelum memutuskan apakah akan meluncurkan secara penuh atau tidak.

Eksperimen yang sedang berjalan ini hanya mengubah cara pemetaan nilai effort. Jadi beberapa orang akan melihat Claude mengatakan dirinya adalah "10".

Kuncinya adalah, skala ini bukan dari 0 sampai 100, angka itu sendiri tidak ada artinya, effort yang kamu pilih adalah effort yang kamu dapatkan.

Dia menekankan, tim telah melakukan evaluasi mendalam untuk memastikan, ini tidak mempengaruhi kinerja model.

Penurunan Kecerdasan Besar Opus 5, Nyata Adanya

Baru saja menyelesaikan masalah Fable, Chubby lagi-lagi menyatakan, Opus 5 sekarang terasa seperti penurunan kualitas yang signifikan.

Ia selalu asal-asalan, sering melakukan kesalahan dasar. Begitu ditunjukkan bahwa ia tidak menjalankan instruksi, ia hanya akan membalas secara mekanis dengan kalimat itu—

Kamu benar, itu kelalaian saya. Bolak-balik, tidak ada habisnya.

Sebenarnya, beberapa hari lalu, sudah ada yang menemukan masalah penurunan kecerdasan Opus 5 yang jelas.

Selain masalah yang disebutkan di atas, ia juga membuat bug, kemudian menghabiskan banyak waktu memperbaiki bug, berulang kali mengoreksi diri sendiri dalam tugas yang sama.......

Setelah ditanyai oleh netizen, insinyur Thariq akhirnya mengakui secara terbuka—Opus 5 adalah model yang "kinerjanya sangat tidak stabil", naik turun, tidak konsisten.

Tim internal sedang berusaha keras menyelesaikan masalah ini, ini adalah prioritas tertinggi bagi kami.

Skor Benchmark Selalu Naik

Pengalaman Pengguna Terus Menurun

Gelombang Opus 5 ini, sebenarnya menyibak luka paling memalukan di seluruh industri:

Skor benchmark dan pengalaman pengguna, sedang secara sistematis terlepas.

Di satu sisi, ada laporan nilai yang cemerlang hingga hampir sempurna: skor komprehensif 82.72, SWE-bench Pro 79.2%, Terminal-Bench 86.7%.

Di sisi lain, ada persepsi nyata pengguna yang justru sebaliknya: "bertele-tele", "malas", "suka membantah".

Tempat paling absurdnya adalah, kedua penilaian ini muncul bersamaan pada Opus 5.

Dan, "model menjadi bodoh" juga bukan masalah Anthropic saja.

Saat ini, pembaruan versi model besar, sedang menjadi kotak hitam paling tidak transparan di seluruh industri AI.

Perangkat lunak tradisional memiliki nomor versi yang bermakna, catatan pembaruan, dan mekanisme rollback. Pengembang dapat mengetahui dengan jelas, versi mana yang sedang digunakan, perubahan apa yang terjadi.

Model besar, berbeda.

Di bawah nama model yang sama, server dapat kapan saja melakukan tes A/B, mengganti skema kuantisasi, menyesuaikan routing model, bahkan mengubah sumber daya inferensi.

Satu-satunya dasbor yang dimiliki orang, hanyalah pengalaman pribadi mereka.

Sayangnya, intuisi, adalah hal yang paling mudah ditolak dan paling sulit dibuktikan salah.

Nilai terbesar dari gelombang ini, adalah menempatkan luka lama yang telah lama ada di industri, sepenuhnya di atas meja:

Saat model menjadi infrastruktur, stabilitas adalah kontrak kepercayaan. Skor benchmark bisa digunakan untuk pemasaran, stabilitas hanya bisa dibuktikan dengan pemenuhan berulang kali.

Referensi:

https://x.com/trq212/status/2091252347913773169?s=20

https://x.com/kimmonismus/status/2091178321669198014

Artikel ini berasal dari akun WeChat publik "新智元", penulis: ASI启示录, editor: 桃子

Pertanyaan Terkait

QApa yang ditemukan oleh pengembang argofowl saat memeriksa log permintaan API Claude Code?

ADia menemukan bahwa meskipun dia memilih tingkat penalaran "high" di antarmuka Claude Code, log API menunjukkan angka "10", yang sebelumnya sesuai dengan tingkat penalaran "low".

QMenurut artikel, apa penyebab perubahan yang dialami Claude Code 2.1.237 ke atas?

AAnthropic memasukkan sesi Fable 5 dari versi tersebut ke dalam eksperimen yang disebut "kompresi skala nilai effort" atau uji coba A/B.

QApa masalah utama yang dikeluhkan pengguna terkait model Opus 5?

APengguna melaporkan bahwa Opus 5 tampak seperti penurunan kualitas yang signifikan, sering memberikan respons yang dangkal, membuat kesalahan dasar, dan jawabannya sering berulang-ulang.

QBagaimana insinyur Thariq Shihipar menanggapi masalah "angka 10" pada Claude Code?

ADia menjelaskan bahwa itu adalah bagian dari eksperimen yang mengubah cara pemetaan nilai "effort". Angka 10 itu sendiri tidak ada artinya tanpa konteks skalanya, dan tim telah melakukan evaluasi untuk memastikan tidak memengaruhi kinerja model.

QMenurut artikel, apa kontradiksi utama yang terungkap dalam kasus Opus 5 ini?

AAda ketidaksesuaian antara skor benchmark yang sangat bagus (seperti 82.72) dengan pengalaman pengguna yang justru merasa model menjadi "lebih cerewet", "malas", dan "suka membantah".

Bacaan Terkait

Perjalanan Kepatuhan Hyperliquid: Dari Tanpa Izin ke Sistem Izin HIP-3

Hyperliquid, sebuah platform derivatif terdesentralisasi, menghadapi tantangan regulasi di AS karena infrastruktur *tanpa izin* (permissionless) dan *non-kustodial*-nya tidak sesuai dengan hukum pasar berjangka AS yang ketat. Platform ini saat ini memblokir akses dari AS (*geoblocked*). Untuk mengatasinya, Hyperliquid Policy Center (HPC) melakukan advokasi agar regulator AS (CFTC/SEC) memodernisasi kerangka kerja, memperbolehkan lembaga terdaftar (seperti broker/FCM) menggunakan infrastruktur dasarnya (**HyperCore**) asal memenuhi kewajiban KYC/AML. Solusi teknisnya adalah melalui **HIP-3**, sebuah model pertukaran terdesentralisasi (DEX) baru *dengan izin* (permissioned). Ini memungkinkan entitas teratur membuat pasar hanya untuk pengguna yang masuk *daftar putih* (whitelist), menjalankan KYC, dan mengontrol akun untuk kepatuhan. Pasar baru ini akan memiliki buku order terpisah namun dapat berbagi likuiditas dengan pasar native Hyperliquid yang tetap tanpa izin, berkat arsitektur L1 tunggal yang sama. Intinya, Hyperliquid beralih dari model sepenuhnya tanpa izin ke pendekatan hibrid: infrastruktur netral dasarnya tetap terbuka, sementara lapangan akses khusus yang mematuhi regulasi AS dibangun di atasnya melalui HIP-3, membuka jalan bagi investor AS untuk berpartisipasi secara legal.

marsbit12m yang lalu

Perjalanan Kepatuhan Hyperliquid: Dari Tanpa Izin ke Sistem Izin HIP-3

marsbit12m yang lalu

Tiga Bulan Dua Putaran, "Palantir" Versi China Populer

**Ringkasan: Platform AI Cerdas Kausal versi China, "China's Palantir", Mengumpulkan Pendanaan Strategis Senilai Miliaran Yuan** Beijing Zhongshu Ruizhi Technology Co., Ltd. (Zhongshu Ruizhi), yang dianggap sebagai "Palantir-nya China", baru saja mengumumkan penyelesaian putaran pendanaan strategis senilai ratusan juta yuan. Pendanaan ini dipimpin oleh China Internet Investment Fund (CIIF) dan didukung oleh investor seperti Su Chuangtou National Social Security Fund, Financial Street Capital, ICBC Capital, dan Kunlun Capital. Ini adalah putaran pendanaan besar kedua perusahaan dalam tiga bulan, menunjukkan pengakuan pasar yang kuat terhadap teknologi inti dan kemampuan komersialisasinya. Didirikan pada tahun 2020 oleh Dr. Han Han, alumni doktoral Universitas Tsinghua dengan pengalaman di China Academy of Information and Communications Technology (CAICT), Zhongshu Ruizhi berfokus pada pengembangan AI keputusan yang andal untuk sektor industri. Perusahaan ini mengatasi tantangan kritis seperti "halusinasi AI" dan kurangnya kemampuan penalaran dalam model besar generatif dengan teknologi dasar yang orisinal, termasuk teori kognitif meta-kausal, pemodelan kausal, dan mesin ontologi dinamis. Teknologi ini memungkinkan AI membuat keputusan yang dapat dipercaya, dijelaskan, dan dapat dilacak untuk skenario industri yang kompleks dan toleransi kesalahan rendah. Zhongshu Ruizhi telah mencapai komersialisasi skala besar, melayani lebih dari 50 klien perusahaan milik negara dan grup industri di bidang tenaga listrik, minyak & gas, dan dirgantara, dengan lebih dari 800 skenario produksi kompleks yang diimplementasikan. Perusahaan melaporkan pendapatan yang berlipat ganda pada tahun 2025, menunjukkan kemampuan menghasilkan pendapatan yang kuat. Dana segar ini akan dialokasikan untuk penelitian teori dasar lebih lanjut, replikasi aplikasi percontohan yang matang untuk memperluas pasar, dan perekrutan talenta tinggi. Investor seperti CIIF melihat perusahaan sebagai pemain kunci dalam mendefinisikan paradigma AI industri yang andal dan mendorong perkembangan kekuatan produktif baru di China, terutama dalam mengamankan infrastruktur kritis dan membangun keamanan siber.

marsbit23m yang lalu

Tiga Bulan Dua Putaran, "Palantir" Versi China Populer

marsbit23m yang lalu

Proposisi Ekonomi Politik Terbesar Era AI: Robot Semakin Cakap, Bagaimana Manusia Berbagi Nilai?

Artikel dari *The Economist* memicu perdebatan dengan menyoroti kemajuan pesat China dalam robotika, AI, energi baru, dan manufaktur canggih, yang di satu sisi dikritik karena diduga mengalihkan sumber daya dari pemulihan permintaan domestik. Esai ini berargumen bahwa isu mendasarnya bukanlah tentang China atau kecepatan perkembangan teknologi, melainkan sebuah pertanyaan politik-ekonomi global yang mendesak: **bagaimana manusia membagi nilai yang diciptakan mesin ketika robot dan AI semakin canggih?** Revolusi AI mengubah logika dasar penciptaan dan distribusi kekayaan. Berbeda dengan revolusi industri sebelumnya yang tetap menempatkan manusia sebagai inti sistem produksi, AI kini mulai menggantikan pekerjaan kognitif. Jika AGI terwujud, semakin sedikit manusia yang terlibat langsung dalam penciptaan nilai, berpotensi memicu kontradiksi mendasar: produktivitas dan keuntungan perusahaan meningkat, tetapi daya beli konsumen stagnan atau turun karena berkurangnya partisipasi tenaga kerja. Masalahnya adalah terputusnya rantai penyebaran manfaat teknologi dari inovasi ke pendapatan masyarakat. Baik di China maupun secara global (misalnya, di AS dengan dominasi raksasa teknologi), kemajuan teknologi sering kali berkonsentrasi pada peningkatan nilai perusahaan dan kekayaan segelintir pemilik modal, alih-alih mendorong pertumbuhan upah dan konsumsi luas. Masa depan mungkin menawarkan tiga jalur: 1) **Kapitalisme tradisional**, di mana pemegang modal menguasai sebagian besar keuntungan AI; 2) **Kapitalisme negara**, dengan keterlibatan negara melalui investasi strategis; atau 3) **Model inovatif** seperti dana kekayaan digital, kepemilikan saham kolektif, atau bentuk pendapatan dasar baru untuk membagikan nilai tambah dari ekonomi pintar secara langsung kepada masyarakat. Bagi China, tantangannya adalah tidak hanya memenangkan persaingan teknologi, tetapi juga membangun sistem distribusi baru yang mampu mengubah kekayaan yang dihasilkan robot dan AI menjadi pertumbuhan pendapatan rumah tangga, peningkatan konsumsi, dan perlindungan sosial. Kompetisi di era AI tidak hanya soal siapa yang memiliki teknologi terkuat, tetapi terutama tentang siapa yang dapat membangun sistem ekonomi di mana kemakmuran dibagikan secara luas, sehingga kemajuan teknologi benar-benar meningkatkan kesejahteraan masyarakat banyak.

marsbit33m yang lalu

Proposisi Ekonomi Politik Terbesar Era AI: Robot Semakin Cakap, Bagaimana Manusia Berbagi Nilai?

marsbit33m yang lalu

Meraup Untung Tujuh Kuartal Beruntun, Strategi Arbitrase Pasar Berkembang Mengalahkan Segalanya

Transaksi arbitrase pasar berkembang yang didanai dolar telah mencatatkan laba selama tujuh kuartal berturut-turut, rekor terpanjang sejak 2008, dengan total imbal hasil sekitar 22% sejak akhir 2024. Strategi ini mengungguli imbal hasil obligasi AS, obligasi pemerintah, dan obligasi korporasi pasar berkembang. Strategi ini memanfaatkan suku bunga tinggi di negara-negara seperti Turki, Kolombia, dan Brasil, dengan meminjam mata uang berbiaya rendah seperti dolar, euro, atau yen, lalu mengonversinya untuk membeli aset berdenominasi mata uang berimbal hasil tinggi. Keuntungan didorong oleh selisih suku bunga dan apresiasi nilai tukar, seperti yang terjadi pada peso Kolombia. Meskipun ada ujian akibat intervensi pasar valas Jepang-AS pada Agustus 2024, strategi ini bertahan karena diversifikasi ke mata uang pendanaan alternatif seperti euro dan franc Swiss. Risiko ke depan mencakup potensi perubahan kebijakan Federal Reserve AS, tingkat kepadatan transaksi yang berlebihan, dan keberlanjutan suku bunga tinggi di negara-negara pasar berkembang. Namun, faktor eksternal seperti gejolak geopolitik dan harga energi diperkirakan akan menunda pelonggaran moneter, mendukung lingkungan suku bunga tinggi untuk sementara waktu.

marsbit49m yang lalu

Meraup Untung Tujuh Kuartal Beruntun, Strategi Arbitrase Pasar Berkembang Mengalahkan Segalanya

marsbit49m yang lalu

Guru-Murid dari Tsinghua dan Wharton Menyelesaikan Misteri 40 Tahun, Matematika Inti Semua Ditulis oleh GPT, Kamu Juga Bisa

**Algoritma yang Melatih Semua AI Dijatuhi "Hukuman Mati" oleh AI Itu Sendiri?** Para peneliti dari Tsinghua University dan Wharton School, University of Pennsylvania, baru-baru ini mempublikasikan penelitian yang menjawab pertanyaan terbuka selama 40 tahun dalam teori optimasi. Mereka membuktikan bahwa **gradient descent**, algoritma fundamental di balik hampir semua AI, memiliki batasan kecepatan konvergensi yang tidak dapat diatasi hanya dengan menyetel urutan *stepsize* (langkah pembelajaran). Inti penelitian ini adalah **bukti matematis yang dibangun oleh GPT-5.6 Sol Pro**. Duet peneliti Jianhao Ma dan Yuxin Chen memberikan target dan strategi tingkat tinggi kepada AI, kemudian berkolaborasi secara iteratif untuk menyempurnakan bukti tersebut. Mereka membuktikan bahwa **untuk setiap urutan *stepsize* non-negatif yang telah ditentukan sebelumnya, terdapat batas bawah kecepatan konvergensi gradient descent sebesar Ω(T^{-1.9319})**. Artinya, tidak peduli seberapa canggih urutan *stepsize* dirancang, kinerjanya tidak akan pernah melebihi batas ini jika struktur algoritmanya tidak diubah (misalnya, dengan menambahkan *momentum* seperti metode Nesterov). Bukti yang dihasilkan AI ini kemudian **diverifikasi sepenuhnya secara formal menggunakan Lean 4 theorem prover**, tanpa ada kesenjangan logika (*zero sorry, zero admit*). Penelitian ini menetapkan bahwa peningkatan kinerja maksimal memerlukan modifikasi pada struktur algoritma, bukan hanya penyesuaian *stepsize*. Temuan ini membuka kemungkinan bagi peneliti di mana saja untuk memanfaatkan AI sebagai asisten pembuktian teorema yang kuat.

marsbit58m yang lalu

Guru-Murid dari Tsinghua dan Wharton Menyelesaikan Misteri 40 Tahun, Matematika Inti Semua Ditulis oleh GPT, Kamu Juga Bisa

marsbit58m yang lalu

Trading

Spot
活动图片

Kategori Populerright-arrow

Tag Populerright-arrow