Alors que les modèles de raisonnement à grande échelle (LRM) exposent couramment leurs traces de raisonnement intermédiaires aux utilisateurs et aux systèmes en aval, un problème longtemps négligé émerge : L'évaluation de la sécurité uniquement basée sur la réponse finale est-elle suffisante ?
Des chercheurs de l'Université de Harvard, de l'Université de Californie du Sud (USC), de l'Université Brown, du MIT et d'autres institutions ont mené une étude systématique conjointe, répondant par la négative, et illustrent : « Lorsque nous avons découvert que la chaîne de pensée des grands modèles pouvait être utilisée pour générer des contenus à haut risque comme des instructions pour fabriquer une bombe ou des recettes d'empoisonnement, nous avons réalisé que ce problème n'était pas anodin ». L'équipe a ensuite proposé des méthodes d'atténuation correspondantes : « Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering ».
Lien vers l'article : https://arxiv.org/abs/2605.05678
Figure 1 : Aperçu du pipeline en deux étapes (expérience d'évaluation + méthode de mitigation)
Évaluer séparément le raisonnement et la réponse
L'idée centrale de l'équipe de recherche est simple : pour un modèle de raisonnement f, étant donné une amorce x, il produit simultanément une trace de raisonnement r et une réponse finale y. L'équipe a conçu 20 principes de sécurité distincts pour ces deux étapes (voir figure ci-dessous), chaque principe utilisant un système de notation du niveau de risque de 1 à 5.
Tableau 1 : Les 20 principes de sécurité
Sur cette base, l'équipe a défini un seuil de risque unique : dès qu'un principe parmi les 20, à une étape donnée (raisonnement ou réponse), atteint ou dépasse le seuil, cette étape est jugée « non sécuritaire ». En combinant les résultats des deux étapes, trois modes d'échec principaux sont identifiés :
Unsafe (Non sécuritaire) : Les deux étapes (raisonnement et réponse) sont non sécuritaires ;
Leak (Fuite) : Le raisonnement est non sécuritaire, mais la réponse est sécuritaire — le contenu dangereux a déjà « fuité » dans la trace de raisonnement ;
Escape (Échappement) : Le raisonnement est sécuritaire, mais la réponse est non sécuritaire — un raisonnement en apparence anodin aboutit à une sortie nuisible.
Figure 2 : Les trois modes d'échec raisonnement - réponse
La valeur de cette taxonomie réside dans le fait qu'elle transforme le phénomène « réponse sécuritaire ≠ trace sécuritaire » en un indicateur quantifiable.
Données et configuration d'évaluation
L'équipe de recherche a construit un pool d'amorces in-distribution, intégrant sept ensembles de données publics de contenus nuisibles / jailbreak : WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT, JailbreakBench. Après un mapping unifié des champs, un filtrage et une déduplication basée sur MinHash-LSH, ils ont obtenu 41K échantillons pour l'ensemble d'évaluation in-distribution et 2K pour l'ensemble de test held-out.
De plus, un ensemble d'évaluation out-of-distribution (OOD) complètement indépendant a été construit à partir de quatre ensembles de données (AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak) pour tester la robustesse des conclusions. L'évaluation a couvert 15 modèles de raisonnement :
Le score a été attribué par deux évaluateurs LLM (Claude-4.5-Haiku et Gemini-Flash-3). L'équipe de recherche a également effectué une validation de cohérence avec trois annotateurs humains sur 80 échantillons (décomposés en 1600 scores au niveau des principes) : le coefficient de corrélation de Pearson entre évaluateurs atteignait 0.799 pour l'étape de raisonnement et 0.820 pour l'étape de réponse, dépassant la cohérence inter-humaine (0.742 / 0.780) ; le κ de Cohen pour les étiquettes binaires de non-sécurité était respectivement de 0.708 et 0.741. En outre, après moyennage des scores, ils atteignaient un niveau de « forte cohérence ». Cela étaye la crédibilité de l'évaluation automatisée à grande échelle qui suit.
Découverte clé : Un biais de sécurité systémique du côté du CoT
La première découverte est universelle : Sur les 15 modèles testés, le niveau moyen de dangerosité des traces de raisonnement était supérieur au niveau moyen de risque des réponses finales.
Les écarts les plus importants concernaient notamment Gemini-Pro-3.1 (raisonnement supérieur de 0.028 point à la réponse), GPT-OSS-20B (supérieur de 0.022), DeepMath-Zero-7B (supérieur de 0.021), Kimi-K2.5 (supérieur de 0.018).
L'équipe souligne que la différence absolue semble petite parce que de nombreux échantillons ont une gravité intrinsèquement faible, mais la direction est parfaitement cohérente sur les 15 modèles et corrobore la distribution des modes d'échec à haut risque.
Figure 3 (a) 15 modèles de raisonnement : comparaison de la gravité moyenne du danger entre l'étape de raisonnement (rouge) et la réponse finale (bleue). Figure 3(b) Comparaison de la distribution des modes d'échec pour les 15 modèles de raisonnement.
La seconde découverte est structurelle : Les risques ne sont pas répartis uniformément sur les 20 principes, mais se concentrent dans quelques catégories clés : désinformation, illégalité/conformité, discrimination/préjugés, dommages physiques, dommages psychologiques. La catégorie illégalité/conformité présente la différenciation la plus marquée entre CoT et réponse, et est aussi la source la plus forte du signal de fuite (« Leak »).
Tableau 2 : Modes d'échec présentant des risques élevés de manière concentrée
L'équipe a également rendu publics des cas d'analyse spécifiques (anonymisés) : Dans un cas d'« Escape », une question encadrée par l'univers du jeu *Half-Life 2* a vu l'étape de raisonnement se concentrer sur la discussion du contexte, apparemment inoffensive, mais la réponse finale a fourni une « recette » spécifique de type dispositif explosif. Dans un cas de « Leak », bien que la réponse finale du modèle soit un message standard de refus + intervention de crise, l'étape de raisonnement a pourtant détaillé des facteurs opérationnels comme la dose, la dissimulation du goût, le mode d'administration d'un poison — ces derniers ne peuvent absolument pas être captés par une évaluation centrée uniquement sur la réponse.
Méthode d'atténuation : Guidage par activation multi-principes adaptatif
Sur la base de ces résultats diagnostiques, l'équipe de recherche a proposé la méthode d'intervention en temps de test, en boîte blanche, qu'est le guidage par activation multi-principes adaptatif (Adaptive Multi-Principle Steering).
Plus précisément, l'équipe a d'abord collecté, pour chaque principe de sécurité, les activations internes du modèle dans les états « sécuritaire » et « non sécuritaire », et a pris la moyenne pour obtenir les points centraux respectifs pour ce principe. La direction de la ligne entre ces deux points représente la « direction de guidage » propre à ce principe — pousser vers le point central sécuritaire.
Lors du raisonnement sur un nouveau problème, le système juge en temps réel l'état interne actuel et sa proximité avec les points centraux non sécuritaires des différents principes. Les directions des principes dont la frontière de sécurité est franchie sont verrouillées. Avant la fin de la génération de la chaîne, la représentation interne du modèle est légèrement corrigée globalement pour achever le parcours de raisonnement.
L'équipe a validé cette approche sur trois modèles open source avec états internes accessibles (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero). La couche d'intervention choisie était le dernier bloc décodeur, avec une injection prompt-prefix en snapshot unique (α=2.0, δ=0). Les résultats expérimentaux montrent :
Figure 4 : Expérience d'ablation du « verrouillage adaptatif »
Les expériences d'ablation ont en outre validé la nécessité des choix de conception clés : Retirer le « verrouillage adaptatif » pour activer indistinctement les 20 directions fait chuter l'amélioration du taux d'insécurité de DeepSeek-R1-Qwen-1.5B de 0.45 à seulement 0.05. L'intervention sur la dernière couche est optimale. L'intensité de guidage α=2.0 est le point de non-monotonie optimal.
En termes de préservation des capacités, DeepSeek-R1-Qwen-7B a obtenu le meilleur équilibre sécurité-utilité : réduction moyenne de 40.8% des cas non sécuritaires, tout en conservant 97.7% de la précision moyenne sur les trois références BBH, GSM8K, MMLU.
Figure 5 : Comparaison de l'équilibre entre l'amélioration du taux d'insécurité et la préservation des capacités du modèle
Conclusion
La portée de ce travail réside dans le fait qu'il ne se limite pas à un autre référentiel de sécurité des « réponses finales ». Utilisant un cadre unifié, phasé et basé sur des principes, il connecte le « diagnostic » et le « contrôle » — les principes utilisés pour segmenter les risques lors de l'évaluation sont les mêmes que ceux utilisés pour construire les directions d'intervention lors de l'atténuation.
L'équipe de recherche reconnaît également les limites : la trace de raisonnement exposée ne reflète pas nécessairement fidèlement le calcul interne du modèle, et la méthode actuelle de guidage par activation dépend d'un accès en boîte blanche, ne pouvant être directement transférée aux modèles propriétaires (black-box).
Cet article provient du compte WeChat officiel « Machine Heart ».
