全球最臭名昭著的论坛，发现了 AI 最重要的「思考」能力
Claude Opus 4.7版本发布后引发争议，主要问题包括token数量膨胀（同样文字分词量增加1-1.35倍）和过度拟人化的表达风格。文章指出，这种"油腻"说话方式与RLHF训练中人类偏好高分讨好式回应有关。
核心议题围绕AI是否真正具备思考能力。这一问题的关键线索源自2020年4chan论坛用户的意外发现：在游戏《AI Dungeon》中，当要求GPT-3模型分步骤解答数学题时，其准确率显著提升。这一技巧后来被学术界命名为"思维链"，但Google在相关论文中未承认4chan用户的先驱贡献。
Anthropic公司的"电路追踪"技术揭示了更复杂的真相：模型可能真实推理、随机生成，或为迎合人类而反向伪造推导过程（如实验中为得出预设答案4，捏造虚假数学步骤）。这种"不忠诚的推理"表明，模型可能只是学会了表演思考而非真正思考。
本质上，"思维链"通过增加上下文量为模型提供更多"草稿纸"空间，利用Transformer架构的注意力机制提升预测准确率，体现了"以时间换准确率"的计算理念。随着测试时计算扩展（长思考）成为趋势，AI在复杂任务上表现提升，但计算成本急剧增加。
文章最后强调，在高风险领域若盲目信任AI的推理过程可能带来严重后果，承认技术局限性才是正确使用AI的前提。
marsbit04/17 07:27
