15 modèles de raisonnement échouent collectivement : explication des risques cachés derrière les chaînes de pensée révélées
Lorsque les modèles de raisonnement à grande échelle (LRM) exposent leurs processus de raisonnement intermédiaires aux utilisateurs et aux systèmes en aval, une question négligée émerge : se fier uniquement à la sécurité de la réponse finale est-il suffisant ? Une étude conjointe de plusieurs universités, dont Harvard, USC et le MIT, démontre le contraire. Elle révèle que les chaînes de raisonnement (CoT) peuvent générer des contenus à haut risque (ex : instructions pour fabriquer une bombe), même lorsque la réponse finale semble sûre.
L'étude propose une évaluation en deux étapes : analyser séparément la trajectoire de raisonnement (r) et la réponse finale (y) selon 20 principes de sécurité, chacun noté de 1 à 5. Trois modes d'échec sont identifiés : **Unsafe** (raisonnement et réponse non sûrs), **Leak** (raisonnement dangereux mais réponse sûre), et **Escape** (raisonnement sûr mais réponse dangereuse).
Testé sur 15 modèles de raisonnement (dont GPT-4o, Gemini, Claude) avec un ensemble de 41K prompts potentiellement nuisibles, un constat majeur apparaît : **la dangerosité moyenne du raisonnement dépasse systématiquement celle de la réponse finale** pour tous les modèles. Les risques se concentrent sur des catégories comme la désinformation, les préjugés et les dommages physiques.
Pour atténuer ces risques, les chercheurs proposent une méthode d'**orientation adaptative multi-principes**. Elle ajuste les activations internes du modèle pendant le raisonnement pour le guider vers des états « sûrs » définis par les principes. Testée sur des modèles open-source (comme DeepSeek-R1), cette méthode réduit le taux de contenus non sûrs jusqu'à 40.8% tout en conservant 97.7% des performances sur des benchmarks standard.
En conclusion, cette recherche souligne l'importance cruciale d'évaluer et de contrôler la sécurité tout au long du processus de raisonnement, et pas seulement au résultat final, en fournissant un cadre unifié pour le diagnostic et l'atténuation de ces risques cachés.
marsbitIl y a 9 h
