15 Model Penalaran Kolektif Gagal, Rincian Risiko Tersembunyi di Balik Chain of Thought Output
Penelitian dari Harvard University, USC, Brown University, MIT, dan lainnya mengungkap kerentanan keamanan sistemik dalam model penalaran besar (LRM). Evaluasi keamanan tradisional yang hanya fokus pada jawaban akhir dinilai tidak memadai, karena jalur pemikiran (chain-of-thought/CoT) yang diekspos dapat memuat konten berbahaya seperti instruksi pembuatan bom atau racun, meskipun jawaban akhir tampak aman.
Studi ini memperkenalkan kerangka evaluasi dua tahap yang memisahkan penilaian risiko pada *reasoning* (r) dan *answer* (y) berdasarkan 20 prinsip keamanan. Hasilnya mengidentifikasi tiga mode kegagalan: **Unsafe** (kedua tahap berisiko), **Leak** (hanya jalur penalaran yang berisiko), dan **Escape** (hanya jawaban akhir yang berisiko).
Pengujian pada 15 model penalaran (seperti GPT-4, Claude, Gemini, Llama) menunjukkan temuan konsisten: tingkat bahaya rata-rata pada tahap penalaran secara sistematis lebih tinggi daripada pada jawaban akhir. Risiko terutama terkonsentrasi pada prinsip seperti misinformasi, ilegalitas, bias, dan bahaya fisik.
Sebagai mitigasi, tim mengusulkan metode **Adaptive Multi-Principle Steering**, intervensi *white-box* yang mengarahkan aktivasi internal model menjauhi titik "tidak aman" menuju titik "aman" berdasarkan prinsip yang terpicu. Metode ini terbukti mengurangi jumlah keluaran tidak aman hingga 40.8% pada model DeepSeek-R1, dengan mempertahankan 97.7% kemampuan pada tugas standar.
Penelitian ini menyoroti pentingnya memantau keamanan pada seluruh proses penalaran model, bukan hanya output akhir, dan menyediakan kerangka terpadu untuk diagnosis dan intervensi. Keterbatasan mencakup ketergantungan pada akses *white-box* dan kesetiaan representasi jalur pemikiran.
marsbit9j yang lalu
