Claude一夜变笨,全网吵翻了!
就在昨天,开发者argofowl花了整整一个下午,差点把Claude Code翻了个底朝天。
他一路排查,先是怀疑是t3 code崩了,接着又以为自己的代码出现了bug。
查到最后,他甚至开始怀疑——难道是自己把Mac搞坏了?
当argofowl最终打开API的真实请求日志时,一切真相大白,里面赫然写着一个数字「10」。
然而,在Claude Code后台,他明明选的是「high」,最高档推理程度。
谁曾想,Claude Code的更新日志,一个字都没写。
推理high变成10
Claude Code变笨曝光
argofowl发现,从Claude Code 2.1.237开始,模型把「high」推理程度读成了10 out of 100。
而这个数字,正是过去「low」档对应的值。
细扒发现,Anthropic把Claude Code 2.1.236及以上版本的Fable 5会话,纳入了一个「压缩effort数值刻度」的实验。
不过,老版本和Opus 5不受影响。
这大概率是个A/B测试,所以不是人人都会撞上。
对开发者来说,这才是真正的痛点。模型强一点弱一点,还能忍。
但你把我拉进了实验组,却不打算告诉我:那我这一下午到底在debug什么?是在调自己的代码,还是在调你的A/B测试?
没想到,科技博主Chubby转发之后,AI圈直接炸了——
看起来,Anthropic把模型悄悄调笨了,却没告诉任何人。
一时间,X上「Claude变笨了吗」的自测帖子刷屏。
有人贴出同一段prompt在不同版本下的输出对比,有人翻出自己两周前的会话记录做逐行diff。
Anthropic认错,工程师下场
面对这场风暴,Claude Code工程师Thariq Shihipar的回应来得很快。
我们有时候会在Claude Code里先测试API的服务配置,再决定要不要全量推。
现在跑的这个实验,只是把effort的数值映射方式改了。所以有些人会看到Claude说自己是「10」。
关键是,这个刻度不是0到100,那个数字单独看没有任何意义,你选的effort就是你拿到的effort。
他强调,团队做了深入的评测来确认,这不影响模型性能。
Opus 5大降智,是真的
刚解决掉Fable的问题,Chubby又直言,Opus 5现在感觉像是一次显著的降级。
它总是敷衍了事,频犯低级错误。一旦被指出没按指令执行,它就只会机械地回复那句——
你说得对,是我疏忽了。翻来覆去,没完没了。
其实,早在几天前,有人就发现了Opus 5明显「降智」的问题。
除了上面提到的问题,它还会制造bug,然后耗费大量时间修bug,同一任务中反复自我纠正.......
在被网友追着问了一圈之后,工程师Thariq公开承认——Opus 5是个「表现很不稳定」的模型,忽高忽低,不稳定。
团队内部正在为努力解决这一问题,这对我们来说是最高优先级。
跑分永远向上
体感一路向下
Opus 5这场风波,撕开的其实是整个行业最尴尬的一道口子:
跑分和体感,正在系统性地脱钩。
一边是亮眼到近乎无可挑剔的成绩单:综合得分82.72、SWE-bench Pro 79.2%、Terminal-Bench 86.7%。
另一边,却是用户截然相反的真实感受:「啰嗦」「偷懒」「爱抬杠」。
最荒诞的地方在于,两种评价同时出现在了Opus 5身上。
而且,「模型变笨」也并非Anthropic一家的问题。
如今,大模型的版本更新,正在变成整个AI行业最不透明的黑箱。
传统软件有语义化版本号,有更新日志,也有回滚机制。开发者可以清楚地知道,自己正在使用哪个版本,发生了哪些变化。
大模型,就不同了。
同一个模型名称之下,服务端可能随时进行A/B测试、更换量化方案、调整模型路由,甚至改变推理资源。
人们手里唯一的仪表盘,只剩下自己的体感。
偏偏直觉,是最容易被驳回、也最难被证伪的东西。
这场风波最大的价值,是把行业长期存在的一道暗伤,彻底摆上了台面:
当模型成为基础设施,稳定性就是一份信任契约。跑分可以用来营销,稳定性只能靠一次次兑现。
参考资料:
https://x.com/trq212/status/2091252347913773169?s=20
https://x.com/kimmonismus/status/2091178321669198014
本文来自微信公众号“新智元”,作者:ASI启示录,编辑:桃子
