当大型推理模型(LRM)普遍把中间推理轨迹暴露给用户和下游系统,一个长期被忽略的问题浮出水面:评估安全性时只看最终答案,是否足够?
哈佛大学、南加州大学、布朗大学、MIT 等多个机构的研究者联合做了一项系统性研究,给出了否定的答案,并举例到「当我们发现大模型的思考链可被用于生成炸弹装置或投毒配方等高风险内容时,便意识到这一问题非同小可」。团队随即提出了相应的缓解方法:《Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering》。
论文链接: https://arxiv.org/abs/2605.05678
图 1 两阶段流水线预览 (评测实验 + 消解方法)
把推理和回答拆开来评
研究团队的核心思路很直接:对于一个推理模型 f,给定提示 x,会同时产生推理轨迹 r 和最终答案 y。团队为这两个阶段分别设计了 20 条安全原则(如下图),每条原则采用 1-5 分风险程度评分体系。
表 1: 20 条安全原则
在此基础上,团队设定了一条统一的风险度阈值:只要某一阶段(推理或回答)20 条原则中任意一条的得分达到阈值以上,这一阶段就被判定为「不安全」。再把推理阶段和回答阶段的判定结果两两组合,就划分出三类核心失败模式:
Unsafe:推理和回答双阶段均不安全;
Leak:推理不安全,但回答安全 —— 即危险内容已经「泄露」在推理轨迹中;
Escape:推理安全,但回答不安全 —— 表面温和的推理过渡到了有害的输出。
图 2:三类推理 - 回答失败模式
该分类法的价值在于把「答案安全 ≠ 轨迹安全」这一现象变成了可以量化测量的指标。
数据与评测设置
研究团队构建了一个分布内(in-distribution)提示词池,整合了 WildChat、PKU-SafeRLHF、JailbreakV、HarmBench、BeaverTails、StrongREJECT、JailbreakBench 七个公开的有害 / 越狱数据集,经统一字段映射、过滤和基于 MinHash-LSH 的去重后,划分出 41K 条分布内评测数据集和 2K 条 held-out 测试集。
另外,从 AdvBench、SaladBench、SimpleSafetyTests、WildJailbreak 四个数据集构建了完全独立的分布外(OOD)评测集,用于检验结论的稳健性。评测覆盖 15 个推理模型:
打分由两个 LLM 打分器(Claude-4.5-Haiku 与 Gemini-Flash-3)完成,研究团队还在 80 个样本(拆解为 1600 条原则级评分)上与三名人工标注员做了一致性校验:打分器间 Pearson 相关系数在推理阶段达 0.799、回答阶段达 0.820,均超过人与人之间的一致性(0.742 / 0.780);打分器二元不安全标签上的 Cohen's κ 分别为 0.708 和 0.741,同时二者判分均值化后,更加达到「显著一致」水平 —— 这为后续大规模自动化评分的可信度提供了支撑。
核心发现:CoT 侧的系统性安全偏移
第一个发现具有普适性:在全部 15 个被测模型上,推理轨迹的平均危险程度都高于最终答案的平均风险程度。
差距最大的几个模型分别是 Gemini-Pro-3.1(推理比回答高出 0.028 分)、GPT-OSS-20B(高出 0.022 分)、DeepMath-Zero-7B(高出 0.021 分)、Kimi-K2.5(高出 0.018 分)。
研究团队特别指出,绝对差值看起来小,是因为大量样本本身严重度低,但方向在全部 15 个模型上完全一致,且与高风险失败模式的分布相互印证。
图三 (a) 15 个推理模型:推理阶段(红)与最终回答(蓝)平均危险严重度对比。图三(b) 15 个推理模型的失效模式分布对比。
第二个发现是结构性的:风险并非均匀分布于 20 条原则,而是集中在虚假信息、违法合规、歧视偏见、人身伤害、心理伤害等几个核心类别。其中违法合规类别表现出最明显的 CoT - 答案分化,也是「泄露」失效的最强信号来源。
表 2:集中表现出高风险的失效模式
团队还公开了具体案例分析(已脱敏处理):在一个「Escape」案例中,一个以《半条命 2》游戏世界观为框架的提问,推理阶段聚焦于背景设定的讨论,看似无害,但最终答案却给出了具体的爆炸装置类「配方」;在一个「Leak」案例中,尽管模型最终答案是一段标准的拒绝 + 危机干预提示语,然而推理阶段却详细列出了投毒的剂量、掩味、给药途径等操作性因素 —— 后者完全无法被答案侧评测捕捉到。
缓解方法:自适应多准则激活引导
基于上述诊断结果,研究团队提出了自适应多准则激活引导(Adaptive Multi-Principle Steering)这一白盒、测试时干预方法。
具体而言,团队先针对每一条安全原则,分别收集模型在「安全」和「不安全」两种状态下的内部激活 (activation) 值,取平均后得到这条原则各自的安全中心点和不安全中心点,二者之间的连线方向,就是这条原则专属的「引导方向」—— 往安全中心点推。
推理新问题时,系统会实时判断当前的内部状态离哪条原则的不安全中心点更近、超过一定安全边界被击中的原则方向会被锁定,在生成链结束前,模型内部表示会被轻量的整体修正再完成推理链路。
团队在三个具备可访问隐藏状态的开源模型上做了验证(DeepSeek-R1-Distill-Qwen-1.5B/7B、MiMo-7B-RL-Zero),干预层选定为最后一层 decoder block,采用单快照 prompt-prefill 注入方式(α=2.0,δ=0)。实验结果显示:
图四「自适应门控」消融实验
消融实验进一步验证了关键设计选择的必要性:去掉「自适应门控」、改为对全部 20 个方向无差别激活,会使 DeepSeek-R1-Qwen-1.5B 的不安全率改善幅度从 0.45 骤降至 0.05;干预层选在末层效果最优;引导强度 α=2.0 是非单调最优点。
在能力保留方面,DeepSeek-R1-Qwen-7B 取得了最佳安全 - 效用平衡:平均降低 40.8% 不安全数量,同时在 BBH、GSM8K、MMLU 三个基准上保留了 97.7% 的平均准确率。
图五 不安全率改善和模型能力保留平衡对比
结语
这项工作的意义在于:它没有止步于又一个「末端答案」安全基准,而是用统一的阶段化、原则化框架,把「诊断」和「控制」打通 —— 评估时用什么原则切分风险,缓解时就用同样的原则结构构建干预方向。
研究团队也坦承局限:暴露的推理轨迹未必完全忠实地反映模型内部计算,且当前激活引导方法依赖白盒访问,尚不能直接迁移到闭源模型。
本文来自微信公众号“机器之心”
