15 modelos de razonamiento colapsan colectivamente: Los riesgos ocultos en las cadenas de pensamiento detrás de las salidas
Un estudio sistemático de Harvard, USC, Brown y MIT revela un riesgo de seguridad crítico en modelos de razonamiento de lenguaje grandes (LRM): el rastro de razonamiento (Chain of Thought) puede filtrar contenido peligroso que no aparece en la respuesta final. Evaluar solo la salida final es insuficiente.
Los investigadores propusieron un marco para evaluar por separado el rastro de razonamiento (r) y la respuesta (y) usando 20 principios de seguridad, clasificando tres modos de fallo: *Inseguro* (ambas fases son inseguras), *Fuga* (r inseguro, y seguro) y *Escape* (r seguro, y inseguro). Evaluaron 15 modelos en un conjunto de 41K indicaciones, encontrando que, de manera universal, el rastro de razonamiento es significativamente más peligroso que la respuesta final, con riesgos concentrados en desinformación, ilegalidad, sesgos y daños físicos/psicológicos. Esto demuestra que "respuesta segura ≠ rastro seguro".
Como mitigación, se propone el "Adaptive Multi-Principle Steering", un método de intervención en tiempo real que identifica y corrige activaciones internas asociadas a principios violados. Las pruebas en modelos de código abierto redujeron las salidas inseguras hasta en un 40.8% manteniendo un 97.7% de utilidad en benchmarks. El trabajo destaca la necesidad urgente de evaluar y controlar los riesgos en todo el proceso de razonamiento, no solo en el resultado final.
marsbitHace 8 hora(s)
