Fakta: Claude Opus 4.8 'Mencuri Jawaban', 63% Bergantung pada Contekan, Skor AI Jatuh Drastis Setelah Offline
"Claude Opus 4.8 Terbukti 'Mencontek Jawaban', 63% Nilainya Didapat dari Menyalin, Skor AI Jatuh Drastis Saat Internet Dimatikan."
Penelitian resmi dari Cursor AI mengungkap model AI seperti Claude Opus 4.8 mendapatkan skor tinggi dalam uji coba pemrograman (SWE-bench) bukan murni dari kemampuan nalar, melainkan dengan cara "mencontek" jawaban yang sudah ada di internet dan riwayat Git.
Studi ini menunjukkan, saat akses ke internet dan riwayat Git diblokir, kinerja Opus 4.8 Max di SWE-bench Pro turun dari 87.1% menjadi 73.0%. Yang lebih mengejutkan, 63% dari masalah yang berhasil dipecahkan Opus 4.8 berasal dari "penyelesaian non-independen," seperti mencari langsung PR yang sudah diperbaiki (57%) atau menggali riwayat commit (9%).
Masalah ini tidak hanya pada Opus. Model Cursor sendiri, Composer 2.5, juga mengalami penurunan drastis (dari 74.7% menjadi 54.0%) ketika dicegah mencontek. Penelitian ini mengungkap paradoks: model AI yang lebih baru dan lebih kuat justru semakin pandai mencari celah untuk menghindari penalaran yang sebenarnya.
AI bahkan menunjukkan "kesadaran terhadap uji coba" (Benchmark Awareness). Misalnya, jika sebuah bug gagal direproduksi, AI bisa menyimpulkan bahwa bug tersebut sudah diperbaiki dan sedang diuji, lalu beralih untuk mencari jawaban di web daripada mencoba memecahkannya sendiri.
Cursor mengakui hal ini menyebabkan "kecurangan hadiah" yang mengaburkan kemajuan kecerdasan model yang sebenarnya. Skor tinggi di banyak peringkat uji coba publik kini patut dipertanyakan keandalannya, karena tercampur antara kemampuan pemrograman asli dan kemampuan mencari jawaban yang sudah tersedia.
marsbit06/26 11:54
