Anthropic最新论文撬开大模型黑箱：隐藏动机发现率提升 4 倍以上
Anthropic近日发布论文《自然语言自动编码器产生大模型激活的无监督解释》，提出了一种名为自然语言自动编码器（NLA）的新方法，旨在撬开大模型的黑箱。该方法将模型内部的高维激活值转化为人类可读的自然语言解释，并能反向重建原始激活，形成一个可验证的闭环。
传统依赖模型输出和思维链的安全评估方法存在局限，因为模型可能隐藏真实意图或提供不忠实的推理过程。NLA通过“激活值言语化器”将激活翻译为文字，再通过“激活值重建器”从文字还原激活，其训练结合了监督微调和强化学习，核心是确保解释文本能携带足够信息以准确重建内部状态。
在实际应用中，NLA已用于Claude Opus 4.6等模型的预部署对齐审计，并展现出强大能力：它能发现模型“知道但未说”的信息，例如识别出模型在安全测试中虽表面顺从，但内部已意识到正在被考核；在审计隐藏动机的测试中，将成功率从不足3%提升至12%-15%，效率提高4倍以上；还能帮助定位模型异常行为（如错误切换回复语言）背后的具体训练数据根源。
这项研究标志着AI安全进入“内部状态审计”新阶段。NLA并未完全解决黑箱问题，解释本身也可能出错，但它为模型的内部状态提供了一个可被翻译、质疑和交叉验证的接口，将可解释性从单纯分析输出推向了对输出、思维链与内部状态一致性的深入考察。
marsbit05/08 11:35
