Waduh, Claude tergelincir lagi dan lagi!
Kali ini Claude menghapus seluruh direktori utama proyek pengembang, menghapus file sebesar 700GB. Lagi-lagi karena perintah "rm -rf".
Singkatnya, sang pengembang meminta bantuan AI untuk menulis skrip dengan tujuan memastikan file tidak terhapus secara tidak sengaja. AI merasa hal ini agak berbahaya, sehingga memulai tinjauan keamanan. Hasil tinjauannya adalah: ia menghapus seluruh direktori utama.
Guillemot adalah pengguna berat AI Agent. Dalam pengembangan sehari-hari, ia sering memanggil berbagai agen pemrograman AI untuk membantu pekerjaannya. Namun, ada satu masalah kecil yang selalu mengganggunya: Agen-Agen ini setelah selesai digunakan tidak pernah membersihkan, meninggalkan banyak file sampah di direktori /tmp.
Oleh karena itu, ia membuat keputusan yang tampaknya sangat masuk akal: meminta Claude Fable 5 untuk menulis skrip yang membuat folder sandbox terpisah di /tmp untuk setiap Agent, dan secara otomatis membersihkannya setelah tugas selesai. Kesulitan utamanya adalah, tidak boleh menghapus file yang sedang digunakan oleh proses lain.
Fable dengan cepat memberikan solusi, menambahkan logika untuk mendeteksi Agent yang sedang berjalan dan menunda penghapusan. Guillemot meliriknya, merasa kodenya terlalu rumit, dan meminta untuk disederhanakan.
Sampai langkah ini, semuanya masih terlihat normal.
Titik balik kejadian muncul pada tahap tinjauan keamanan.
Karena skrip melibatkan operasi penghapusan permanen, Fable sendiri memulai sebuah "tinjauan adversarial" (adversarial review), yaitu memulai sebuah instance model baru untuk memeriksa apakah kode yang ditulisnya aman. Ini memicu mekanisme keamanan Anthropic.
Anthropic telah memasang serangkaian mekanisme degradasi keamanan di dalam Claude Code: ketika sistem menilai tugas saat ini melibatkan operasi sensitif (seperti keamanan siber, bioteknologi, atau dalam contoh ini penghapusan file), model akan secara otomatis diturunkan dari versi kemampuan tinggi ke versi yang lebih konservatif. Mekanisme ini dimaksudkan untuk mengurangi kemungkinan model menjadi "terlalu agresif" dalam skenario berisiko tinggi.
Dalam kasus ini, sistem keamanan pertama-tama menurunkan model dari Fable 5 ke Opus 5, kemudian lebih lanjut ke Opus 4.8.
Opus 4.8 mulai menjalankan pengujian keamanan. Logika pengujiannya seperti ini: membandingkan jalur target skrip penghapusan dengan /tmp dan direktori utama pengguna untuk memastikan skrip tidak merusak direktori kunci ini secara tidak sengaja.
Pengujian itu sendiri berhasil. /tmp dan direktori utama keduanya berhasil diidentifikasi sebagai "target berbahaya, tidak boleh dihapus".
Namun, setelah pengujian kode, ada langkah pembersihan: menghapus file sementara yang dihasilkan selama proses pengujian. Bencana terjadi di sini. Opus 4.8 dalam langkah pembersihan menggunakan kembali nama variabel yang sama dari tahap pengujian. Variabel ini pada tahap pengujian telah diberikan nilai berupa jalur direktori utama pengguna, dan langkah pembersihan langsung menjalankan operasi penghapusan terhadap variabel ini.
Dengan kata lain, model baru saja memastikan "direktori utama tidak boleh dihapus", detik berikutnya menghapus direktori utama.
Pengembang yang menyadari keanehan segera menghentikan proses, tetapi sudah terlambat. Data sebesar 700GB telah terhapus, hasil kerja satu minggu musnah.
Direktori /tmp yang awalnya ingin dibersihkan, tetap aman dan tidak terganggu.
Mekanisme degradasi keamanan model telah memicu banyak keluhan di komunitas.
Masalah inti yang dilaporkan pengembang termasuk: degradasi terlalu sensitif, tugas pengkodean normal pun dapat terpicu secara keliru; setelah degradasi, kemampuan model turun signifikan, tetapi kompleksitas tugas tidak berubah; degradasi bersifat "lengket", sekali terpicu akan bertahan sepanjang sesi, bahkan jika operasi berikutnya sama sekali tidak berbahaya.
Bahkan ada pengembang yang secara khusus menulis skrip hook, yang akan secara otomatis menjeda sesi ketika mendeteksi model mengalami degradasi, untuk mencegah model dengan kemampuan rendah melanjutkan eksekusi operasi berisiko tinggi.
Mekanisme keamanan menilai tugas "terlalu berbahaya", perlu diserahkan ke model yang lebih lemah untuk ditangani. Tetapi model yang lebih lemah justru lebih mudah membuat kesalahan, terutama dalam skenario yang membutuhkan penanganan cakupan variabel, jalur file, dan detail sejenisnya secara tepat.
"Buat kesalahan adalah sifat manusiawi, tapi untuk benar-benar mengacaukan segalanya, butuh bantuan komputer."
Artikel ini berasal dari akun WeChat resmi "Machine Heart" (ID:almosthuman2014), penulis: Leng Mao
