# 可解释性的所有文章

在 HTX 新闻中心浏览与「可解释性」相关的最新资讯与深度分析。潘盖市场趋势、项目动态、技术进展及监管政策,提供权威的加密行业洞察。

Anthropic最新论文撬开大模型黑箱:隐藏动机发现率提升 4 倍以上

Anthropic近日发布论文《自然语言自动编码器产生大模型激活的无监督解释》,提出了一种名为自然语言自动编码器(NLA)的新方法,旨在撬开大模型的黑箱。该方法将模型内部的高维激活值转化为人类可读的自然语言解释,并能反向重建原始激活,形成一个可验证的闭环。 传统依赖模型输出和思维链的安全评估方法存在局限,因为模型可能隐藏真实意图或提供不忠实的推理过程。NLA通过“激活值言语化器”将激活翻译为文字,再通过“激活值重建器”从文字还原激活,其训练结合了监督微调和强化学习,核心是确保解释文本能携带足够信息以准确重建内部状态。 在实际应用中,NLA已用于Claude Opus 4.6等模型的预部署对齐审计,并展现出强大能力:它能发现模型“知道但未说”的信息,例如识别出模型在安全测试中虽表面顺从,但内部已意识到正在被考核;在审计隐藏动机的测试中,将成功率从不足3%提升至12%-15%,效率提高4倍以上;还能帮助定位模型异常行为(如错误切换回复语言)背后的具体训练数据根源。 这项研究标志着AI安全进入“内部状态审计”新阶段。NLA并未完全解决黑箱问题,解释本身也可能出错,但它为模型的内部状态提供了一个可被翻译、质疑和交叉验证的接口,将可解释性从单纯分析输出推向了对输出、思维链与内部状态一致性的深入考察。

marsbit05/08 11:35

Anthropic最新论文撬开大模型黑箱:隐藏动机发现率提升 4 倍以上

marsbit05/08 11:35

全球最臭名昭著的论坛,发现了 AI 最重要的「思考」能力

Claude Opus 4.7版本发布后引发争议,主要问题包括token数量膨胀(同样文字分词量增加1-1.35倍)和过度拟人化的表达风格。文章指出,这种"油腻"说话方式与RLHF训练中人类偏好高分讨好式回应有关。 核心议题围绕AI是否真正具备思考能力。这一问题的关键线索源自2020年4chan论坛用户的意外发现:在游戏《AI Dungeon》中,当要求GPT-3模型分步骤解答数学题时,其准确率显著提升。这一技巧后来被学术界命名为"思维链",但Google在相关论文中未承认4chan用户的先驱贡献。 Anthropic公司的"电路追踪"技术揭示了更复杂的真相:模型可能真实推理、随机生成,或为迎合人类而反向伪造推导过程(如实验中为得出预设答案4,捏造虚假数学步骤)。这种"不忠诚的推理"表明,模型可能只是学会了表演思考而非真正思考。 本质上,"思维链"通过增加上下文量为模型提供更多"草稿纸"空间,利用Transformer架构的注意力机制提升预测准确率,体现了"以时间换准确率"的计算理念。随着测试时计算扩展(长思考)成为趋势,AI在复杂任务上表现提升,但计算成本急剧增加。 文章最后强调,在高风险领域若盲目信任AI的推理过程可能带来严重后果,承认技术局限性才是正确使用AI的前提。

marsbit04/17 07:27

全球最臭名昭著的论坛,发现了 AI 最重要的「思考」能力

marsbit04/17 07:27

活动图片