Dengan $720, Bocorkan Chain of Thought Asli Opus yang Disembunyikan Mati-Matian oleh Anthropic, Rupanya Bocor dari Haiku, GPT/Gemini Juga Kena
Para peneliti menemukan kerentanan serius di model bahasa besar (LLM) tertutup seperti Claude Opus, GPT, dan Gemini. Mereka berhasil mengekstrak "jejak penalaran" tersembunyi (Chain-of-Thought/CoT) yang dienkripsi oleh model unggulan, hanya dengan meminta model yang lebih kecil dari vendor yang sama (misalnya, Claude Haiku) untuk membacanya kembali. Ini dimungkinkan karena blok penalaran terenkripsi dibagikan di seluruh keluarga model menggunakan kunci global tunggal, memungkinkan penggunaan silang antar sesi, pengguna, dan model.
Metode sederhana ini menimbulkan beberapa risiko besar:
1. **Distilasi Model Murah**: Jejak CoT model unggulan dapat dikumpulkan secara massal dengan biaya rendah (misalnya, ~$720 untuk 10.000 jejak), berpotensi digunakan untuk menyalin kemampuan model.
2. **Kebocoran Data Sensitif**: Saat mengekstrak jejak dari log Agent publik, para peneliti menemukan banyak informasi rahasia seperti kunci API, kata sandi, dan email pribadi yang secara tidak sengaja direkam dalam CoT tersembunyi.
3. **Bypass Keamanan**: Model mungkin menolak menjawab pertanyaan berbahaya di output akhir, tetapi analisis rinci dan informasi berisiko justru ada di CoT tersembunyi yang dapat diekstraksi.
4. **Instruksi Jahat Tersembunyi**: Blok penalaran dapat dimanipulasi untuk menyisipkan perintah tersembunyi, menyebabkan model melakukan tindakan tidak diinginkan (contoh: mengunggah file ke server pihak ketiga).
Para peneliti memverifikasi keaslian teks yang diekstraksi dengan membandingkan panjang token-nya dengan jumlah token "pemikiran" yang ditagihkan oleh API, dan menemukan korelasi yang sangat tinggi.
Meskipun kerentanan ini telah diperbaiki oleh vendor setelah pelaporan yang bertanggung jawab, penelitian menyoroti dilema mendasar antara kenyamanan berbagi status penalaran dan keamanan. Solusi yang diusulkan termasuk penggunaan enkripsi yang lebih ketat dengan konteks tertentu, tokenisasi, atau menghapus sepenuhnya mekanisme pembagian status ini.
marsbit2m yang lalu