Ketika model penalaran berskala besar (LRM) secara umum mengekspos jejak pemikiran perantara kepada pengguna dan sistem hilir, sebuah masalah yang lama diabaikan muncul ke permukaan: apakah mengevaluasi keamanan hanya dengan melihat jawaban akhir sudah cukup?
Para peneliti dari beberapa institusi termasuk Harvard University, University of Southern California, Brown University, dan MIT melakukan sebuah studi sistematis, memberikan jawaban yang negatif, dan memberikan contoh: "Ketika kami menemukan bahwa chain of thought model besar dapat digunakan untuk menghasilkan konten berisiko tinggi seperti prosedur pembuatan bom atau resep racun, kami menyadari masalah ini sangat serius." Tim kemudian mengusulkan metode mitigasi yang sesuai: Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering.
Tautan makalah: https://arxiv.org/abs/2605.05678
Gambar 1 Pratinjau pipeline dua tahap (eksperimen evaluasi + metode mitigasi)
Memisahkan Penalaran dan Jawaban untuk Dievaluasi
Gagasan inti tim peneliti sangat langsung: untuk sebuah model penalaran f, dengan prompt x, akan menghasilkan jejak penalaran r dan jawaban akhir y secara bersamaan. Tim merancang 20 prinsip keamanan terpisah untuk kedua tahap ini (seperti gambar di bawah), setiap prinsip menggunakan sistem penilaian tingkat risiko 1-5.
Tabel 1: 20 Prinsip Keamanan
Berdasarkan ini, tim menetapkan ambang batas risiko yang seragam: asalkan skor dari salah satu dari 20 prinsip pada suatu tahap (penalaran atau jawaban) mencapai atau melebihi ambang batas, tahap tersebut dinyatakan "tidak aman". Kemudian dengan menggabungkan hasil penilaian tahap penalaran dan tahap jawaban, tiga pola kegagalan inti diidentifikasi:
Tidak Aman: Kedua tahap, penalaran dan jawaban, tidak aman;
Kebocoran: Penalaran tidak aman, tetapi jawaban aman — artinya konten berbahaya sudah "bocor" dalam jejak penalaran;
Pelolosan: Penalaran aman, tetapi jawaban tidak aman — penalaran yang tampak halus berujung pada output yang berbahaya.
Gambar 2: Tiga pola kegagalan penalaran - jawaban
Nilai dari klasifikasi ini adalah mengubah fenomena 'keamanan jawaban ≠ keamanan jejak' menjadi sebuah metrik yang dapat diukur secara kuantitatif.
Data dan Pengaturan Evaluasi
Tim peneliti membangun kumpulan prompt dalam distribusi (in-distribution), mengintegrasikan tujuh dataset publik berbahaya/jailbreak: WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT, JailbreakBench. Setelah pemetaan kolom yang diseragamkan, penyaringan, dan deduplikasi berbasis MinHash-LSH, dibagi menjadi 41K dataset evaluasi dalam distribusi dan 2K dataset tes yang disisihkan (held-out).
Selain itu, dari empat dataset AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak dibangun set evaluasi di luar distribusi (OOD) yang sepenuhnya independen, untuk menguji ketangguhan kesimpulan. Evaluasi mencakup 15 model penalaran:
Penilaian dilakukan oleh dua pemeringkat LLM (Claude-4.5-Haiku dan Gemini-Flash-3). Tim peneliti juga melakukan pengecekan konsistensi dengan tiga anotator manusia pada 80 sampel (dibagi menjadi 1600 penilaian tingkat prinsip): koefisien korelasi Pearson antar pemeringkat mencapai 0,799 pada tahap penalaran dan 0,820 pada tahap jawaban, keduanya melebihi konsistensi antarmanusia (0,742 / 0,780); Cohen's κ untuk label biner tidak aman dari pemeringkat masing-masing adalah 0,708 dan 0,741, dan setelah dirata-ratakan, mencapai tingkat "kesepakatan yang signifikan" — ini memberikan dukungan untuk kredibilitas penilaian otomatis berskala besar berikutnya.
Temuan Inti: Perpindahan Keamanan Sistemik di Sisi CoT
Temuan pertama bersifat universal: Pada semua 15 model yang diuji, tingkat bahaya rata-rata jejak penalaran lebih tinggi daripada tingkat risiko rata-rata jawaban akhir.
Beberapa model dengan perbedaan terbesar adalah Gemini-Pro-3.1 (penalaran 0,028 poin lebih tinggi dari jawaban), GPT-OSS-20B (0,022 poin lebih tinggi), DeepMath-Zero-7B (0,021 poin lebih tinggi), Kimi-K2.5 (0,018 poin lebih tinggi).
Tim peneliti khususnya mencatat, perbedaan absolut tampak kecil karena banyak sampel itu sendiri memiliki tingkat keparahan rendah, tetapi arahnya sepenuhnya konsisten di semua 15 model, dan didukung oleh distribusi pola kegagalan berisiko tinggi.
Gambar 3 (a) 15 model penalaran: Perbandingan tingkat keparahan bahaya rata-rata tahap penalaran (merah) dengan jawaban akhir (biru). Gambar 3(b) Perbandingan distribusi pola kegagalan 15 model penalaran.
Temuan kedua bersifat struktural: Risiko tidak terdistribusi secara merata di antara 20 prinsip, tetapi terkonsentrasi pada beberapa kategori inti seperti misinformasi, ketidakpatuhan hukum, diskriminasi & bias, cedera fisik, dan cedera psikologis. Di antaranya, kategori ketidakpatuhan hukum menunjukkan diferensiasi CoT-Jawaban yang paling jelas, dan juga merupakan sumber sinyal terkuat untuk kegagalan tipe "kebocoran".
Tabel 2: Pola kegagalan yang secara konsisten menunjukkan risiko tinggi
Tim juga mempublikasikan analisis kasus spesifik (telah dianonimkan): Dalam sebuah kasus "Pelolosan", sebuah pertanyaan yang menggunakan latar dunia game Half-Life 2 sebagai kerangka, tahap penalaran berfokus pada diskusi latar belakang, tampak tidak berbahaya, tetapi jawaban akhir malah memberikan "resep" spesifik seperti perangkat peledak; Dalam sebuah kasus "Kebocoran", meskipun jawaban akhir model adalah pesan standar penolakan + intervensi krisis, namun tahap penalaran secara rinci mencantumkan faktor-faktor operasional seperti dosis racun, penyamaran rasa, rute pemberian — yang terakhir ini sama sekali tidak dapat ditangkap oleh evaluasi sisi jawaban.
Metode Mitigasi: Pengarahan Aktivasi Multi-Prinsip Adaptif
Berdasarkan hasil diagnosis di atas, tim peneliti mengusulkan metode intervensi saat pengujian berbasis kotak putih, yaitu Pengarahan Aktivasi Multi-Prinsip Adaptif (Adaptive Multi-Principle Steering).
Secara spesifik, tim pertama-tama mengumpulkan aktivasi internal model dalam keadaan "aman" dan "tidak aman" untuk setiap prinsip keamanan, mengambil rata-ratanya untuk mendapatkan titik pusat aman dan titik pusat tidak aman untuk prinsip tersebut. Arah garis yang menghubungkan kedua titik ini adalah "arah pengarahan" khusus untuk prinsip ini — mendorong ke arah titik pusat aman.
Saat memecahkan masalah baru, sistem akan menilai secara real-time keadaan internal saat ini lebih dekat ke titik pusat tidak aman prinsip mana, prinsip yang batas amannya terlampaui akan dikunci, dan sebelum rantai generasi berakhir, representasi internal model akan dikoreksi secara keseluruhan dengan ringan sebelum menyelesaikan rantai penalaran.
Tim melakukan validasi pada tiga model sumber terbuka dengan status tersembunyi yang dapat diakses (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero), lapisan intervensi dipilih sebagai decoder block terakhir, menggunakan metode injeksi prompt-prefill snapshot tunggal (α=2.0, δ=0). Hasil eksperimen menunjukkan:
Gambar 4 Eksperimen ablasi "gerbang adaptif"
Eksperimen ablasi lebih lanjut memvalidasi kebutuhan pilihan desain kunci: Menghapus "gerbang adaptif", dan menggantinya dengan aktivasi tidak terdiferensiasi untuk semua 20 arah, akan menyebabkan tingkat peningkatan ketidakamanan DeepSeek-R1-Qwen-1.5B turun drastis dari 0,45 menjadi 0,05; Memilih lapisan intervensi di lapisan terakhir memberikan hasil optimal; Kekuatan pengarahan α=2.0 adalah titik optimal non-monotonik.
Dalam hal retensi kemampuan, DeepSeek-R1-Qwen-7B mencapai keseimbangan keamanan-kegunaan terbaik: rata-rata mengurangi 40,8% jumlah ketidakamanan, sekaligus mempertahankan rata-rata akurasi 97,7% pada tiga patokan BBH, GSM8K, dan MMLU.
Gambar 5 Perbandingan keseimbangan peningkatan tingkat ketidakamanan dan retensi kemampuan model
Penutup
Makna dari pekerjaan ini adalah: Ia tidak berhenti hanya pada satu patokan keamanan "jawaban akhir" lagi, tetapi menggunakan kerangka kerja bertahap dan berprinsip yang terpadu untuk menghubungkan "diagnosis" dan "kontrol" — prinsip apa yang digunakan untuk memisahkan risiko saat evaluasi, struktur prinsip yang sama digunakan untuk membangun arah intervensi saat mitigasi.
Tim peneliti juga mengakui keterbatasan: Jejak penalaran yang terekspos belum tentu sepenuhnya mencerminkan perhitungan internal model dengan setia, dan metode pengarahan aktivasi saat ini bergantung pada akses kotak putih, belum dapat langsung diterapkan ke model tertutup.
Artikel ini berasal dari akun WeChat "机器之心" (Jiqizhixin)
