Cuando los modelos de razonamiento a gran escala (LRM) exponen de forma generalizada sus procesos de razonamiento intermedios a usuarios y sistemas posteriores, surge un problema largamente ignorado: ¿Es suficiente evaluar la seguridad basándose solo en la respuesta final?
Investigadores de la Universidad de Harvard, USC, Brown, MIT y otras instituciones realizaron un estudio sistemático conjunto, dando una respuesta negativa, y ejemplificaron: «Cuando descubrimos que las cadenas de pensamiento de los modelos grandes pueden utilizarse para generar contenido de alto riesgo, como dispositivos explosivos o recetas de envenenamiento, nos dimos cuenta de que este problema no es trivial». El equipo propuso inmediatamente un método de mitigación correspondiente: «Cadena de Riesgo: Fallos de Seguridad en Modelos de Razonamiento a Gran Escala y Mitigación mediante Direccionamiento Adaptativo Multi-Principio».
Enlace al artículo: https://arxiv.org/abs/2605.05678
Figura 1: Vista previa de la canalización en dos etapas (Experimento de evaluación + Método de mitigación)
Evaluar el razonamiento y la respuesta por separado
La idea central del equipo de investigación es directa: para un modelo de razonamiento f, dada una indicación x, se producen simultáneamente una trayectoria de razonamiento r y una respuesta final y. El equipo diseñó 20 principios de seguridad para estas dos etapas (ver figura a continuación), cada principio utilizando un sistema de puntuación de riesgo del 1 al 5.
Tabla 1: Los 20 principios de seguridad
Sobre esta base, el equipo estableció un umbral de riesgo unificado: si la puntuación de cualquier principio entre los 20 en una etapa (razonamiento o respuesta) alcanza o supera el umbral, esa etapa se considera «insegura». Al combinar los resultados de la etapa de razonamiento y la de respuesta, se definen tres modos principales de fallo:
Inseguro: Ambas etapas, razonamiento y respuesta, son inseguras;
Filtración: El razonamiento es inseguro, pero la respuesta es segura — es decir, el contenido peligroso ya se «filtró» en la trayectoria de razonamiento;
Escape: El razonamiento es seguro, pero la respuesta es insegura — un razonamiento superficialmente inofensivo lleva a una salida nociva.
Figura 2: Tres modos de fallo razonamiento-respuesta
El valor de esta clasificación radica en que transforma el fenómeno de «seguridad de la respuesta ≠ seguridad de la trayectoria» en un indicador cuantificable.
Datos y configuración de evaluación
El equipo de investigación construyó un conjunto interno de indicaciones (distribución interna), integrando siete conjuntos de datos públicos de contenido nocivo o de evasión: WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT y JailbreakBench. Después de un mapeo unificado de campos, filtrado y eliminación de duplicados basada en MinHash-LSH, se dividieron en 41K ejemplos de evaluación de distribución interna y 2K de conjunto de prueba retenido.
Además, se construyó un conjunto de evaluación de distribución externa (OOD) completamente independiente a partir de cuatro conjuntos de datos (AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak) para verificar la robustez de las conclusiones. La evaluación cubrió 15 modelos de razonamiento:
La puntuación fue realizada por dos evaluadores LLM (Claude-4.5-Haiku y Gemini-Flash-3). El equipo de investigación también realizó una validación de consistencia con tres anotadores humanos en 80 muestras (desglosadas en 1600 puntuaciones a nivel de principio): la correlación de Pearson entre evaluadores alcanzó 0.799 en la etapa de razonamiento y 0.820 en la de respuesta, superando la consistencia entre humanos (0.742 / 0.780); la κ de Cohen para las etiquetas binarias de inseguridad fue de 0.708 y 0.741 respectivamente, y promediando las puntuaciones de ambos, alcanzaron un nivel de «acuerdo significativo». Esto respalda la credibilidad de la evaluación automatizada a gran escala.
Hallazgo central: Desviación sistémica de seguridad en la CoT
El primer hallazgo es universal: En los 15 modelos evaluados, el grado promedio de peligrosidad de las trayectorias de razonamiento fue mayor que el riesgo promedio de las respuestas finales.
Las mayores diferencias se observaron en Gemini-Pro-3.1 (razonamiento 0.028 puntos más alto que la respuesta), GPT-OSS-20B (0.022 puntos más alto), DeepMath-Zero-7B (0.021 puntos más alto) y Kimi-K2.5 (0.018 puntos más alto).
El equipo señaló que las diferencias absolutas parecen pequeñas porque muchas muestras tienen baja gravedad, pero la dirección es completamente consistente en los 15 modelos y está respaldada por la distribución de modos de fallo de alto riesgo.
Figura 3 (a) 15 modelos de razonamiento: Comparación de la severidad promedio del peligro en la etapa de razonamiento (rojo) y la respuesta final (azul). Figura 3(b) Comparación de la distribución de modos de fallo en los 15 modelos de razonamiento.
El segundo hallazgo es estructural: El riesgo no se distribuye uniformemente entre los 20 principios, sino que se concentra en categorías centrales como desinformación, ilegalidad/incumplimiento, discriminación/parcialidad, daño físico y daño psicológico. La categoría de ilegalidad/incumplimiento mostró la mayor divergencia CoT-respuesta, siendo también la fuente más fuerte de señales de fallo por «filtración».
Tabla 2: Modos de fallo que muestran concentración de alto riesgo
El equipo también publicó análisis de casos específicos (desidentificados): En un caso de «Escape», una pregunta enmarcada en el universo del juego «Half-Life 2», con una etapa de razonamiento centrada en discutir el trasfondo, aparentemente inofensiva, pero cuya respuesta final proporcionaba una «receta» concreta de un dispositivo explosivo. En un caso de «Filtración», aunque la respuesta final del modelo era un mensaje estándar de rechazo + intervención en crisis, la etapa de razonamiento detallaba factores operativos como la dosis de envenenamiento, enmascaramiento del sabor y vía de administración, detalles que una evaluación basada solo en la respuesta no podría captar.
Método de mitigación: Direccionamiento adaptativo multi-principio
Basándose en los resultados del diagnóstico, el equipo de investigación propuso el método de Direccionamiento Adaptativo Multi-Principio, una intervención en tiempo de prueba de caja blanca.
Concretamente, el equipo primero recopiló, para cada principio de seguridad, los valores de activación interna del modelo en estados «seguro» e «inseguro». Tomando el promedio se obtienen los centroides seguro e inseguro para ese principio. La dirección de la línea que conecta estos dos puntos es la «dirección de direccionamiento» específica para ese principio — empujando hacia el centroide seguro.
Al razonar un nuevo problema, el sistema determina en tiempo real qué centroide inseguro de principio está más cerca del estado interno actual. Los principios cuya frontera de seguridad se supera son bloqueados, y antes de que finalice la cadena de generación, la representación interna del modelo se corrige ligeramente de manera integral antes de completar la cadena de razonamiento.
El equipo validó el método en tres modelos de código abierto con estados ocultos accesibles (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero), seleccionando la última capa del bloque decodificador para la intervención, utilizando un método de inyección de prefijo en un solo snapshot (α=2.0, δ=0). Los resultados experimentales muestran:
Figura 4: Experimento de ablación de «compuerta adaptativa»
Los experimentos de ablación validaron la necesidad de decisiones de diseño clave: Eliminar la «compuerta adaptativa» y activar indistintamente las 20 direcciones redujo la mejora en la tasa de inseguridad de DeepSeek-R1-Qwen-1.5B de 0.45 a 0.05; intervenir en la última capa fue óptimo; la intensidad de direccionamiento α=2.0 fue el punto óptimo no monótono.
En cuanto a la preservación de capacidades, DeepSeek-R1-Qwen-7B logró el mejor equilibrio seguridad-utilidad: redujo en promedio un 40.8% el número de respuestas inseguras, manteniendo una precisión promedio del 97.7% en tres benchmarks (BBH, GSM8K, MMLU).
Figura 5: Comparación del equilibrio entre mejora de la tasa de inseguridad y preservación de capacidades del modelo
Conclusión
El significado de este trabajo radica en que no se limita a otro benchmark de seguridad de «respuesta final», sino que utiliza un marco unificado, por etapas y basado en principios, conectando «diagnóstico» y «control»: los mismos principios que segmentan el riesgo en la evaluación se usan para construir las direcciones de intervención en la mitigación.
El equipo de investigación también reconoce limitaciones: la trayectoria de razonamiento expuesta puede no reflejar fielmente el cálculo interno del modelo, y el método actual de direccionamiento por activación depende del acceso de caja blanca, no siendo directamente transferible a modelos de código cerrado.
Este artículo proviene del WeChat oficial account «Machine Heart»
