每六个月,删掉你的Claude.md,删掉你的skills,删掉你的hooks。
这是Boris Cherny——Claude Code之父给产品使用者们的建议。
在YC7月28日新发布的访谈视频《Boris Cherny: We Cut 80% of Claude Code’s Prompt》中,Boris热情呼吁所有做AI产品的人都应该对自己的新产品勇敢按下删除键,大刀阔斧地去删除系统的提示词、工具、harness代码。
△
“你应该把整个系统提示词全删掉,然后一行一行加回来,看看每一行到底有什么影响。”
这个观点背后的概念是消融实验(ablation study),该概念贯穿了Boris Cherny的最新访谈,旨在控制其他条件不变的前提下,移除、替换或关闭一个模块,去比较性能、稳定性、效率或成本的变化。
访谈中Boris无不自豪地声称:实际上对于Opus 5,我们真心建议大家试试把这些东西全删掉,因为模型已经不需要了。
尽管最近的风波......用户也可以声称,“实际上对于Claude,真心建议把它删掉,因为我们已经不需要了。”(x)
除了“大胆删除”,Boris在访谈中还透露了更多关于自己对产品设计、模型使用和编程学习的价值性思考——
本文观点出自访谈视频,阅读重点如下:1、Boris的产品迭代策略:少一点预判,多去做测试2、“产品悬余”:同一时期内,模型能力总会超出产品边界3、“解缚”:让模型做更难的任务,独立工作更长的时间4、顶尖Claude用户是如何使用AI的?5、给编程学习者的3个建议
“模型是一种活体生物,它有自己的性格”
“今天Claude Code harness 里的代码,几乎只剩下安全、权限和静态分析的部分。”
7月24日,Anthropic发布了关于 Claude 5上下文工程的最新规则,其中针对Opus 5、Fable 5等新模型,Claude Code的system prompt被大幅精简,删除了超过 80% 的原有指令。
具体可以参考量子位文章《Claude Code狂删80%提示词,Opus 5反手加回去了》。
针对此次变化,Boris在访谈中分享了自己的产品迭代策略:你不要去猜模型需要什么指令,因为你根本猜不对。你能做的就是一行行去删除,去测试,然后找到模型反复卡住的地方。
“你得把模型想成一个活的生物,一种更有机的东西。每一代模型的行为都不一样,性格都略有不同,你得花时间去了解它,然后据此调整harness。”
△
因此这对于Boris而言是更偏向“经验性”的,需要用科学的予以对待:不加预判地尝试,查看结果,迭代,重复。
而在这样一个不断推倒重来的世界里,Eval也未必能稳定使用。尽管它确实比harness和prompt耐用,但眼下模型进化太快,很多时候一套评测会被很快刷到满分。因此需要观察模型到底在哪不断挣扎,然后设计新的Eval。
一种思维:悬余、解缚
访谈中,Boris分享了一个概念叫“Product Overhang”,他认为这是一个对他做产品很有帮助的思考方式。
Overhang,什么意思?悬余。
大模型以不连续的跳跃式速度跃迁,而产品集成却以连续的增量式节奏推进。这导致模型所具备的能力总会超出现有产品所能释放出的边界。
Boris举了一个例子:2024年底sonnet 3.5刚推出的时候,这个模型就已经能一次性写整个文件的代码了。但当时的编程产品Copilot、Cursor早期版还在做补全代码这样的小事。
拥有完整终端权限的Claude Code一定程度上弥补了这种差距。这也是Boris提出的第二个概念“Unhobbling”,解缚,拿掉限制。
△
他分享了Anthropic内部的案例:有人尝试给Opus 5接入OpenCV(全球最大开源计算机视觉库),结果发现模型能自己画出人物肖像、动物风景,而在此前他们从未训练过模型去画画。
这就是“模型激发”(model elicitation),在不改变模型权重的前提下,通过提示词、上下文、工具或产品形态的设计,让模型表现出它本已具备、但此前未被调用的能力。
尽管这里或许还存在着疑问:如何归因?究竟是模型被激发出了原本就具备的能力,还是模型因为“脚手架”设计而学会了新的技能?
不过这或许并不重要,不管怎样,Boris毫不怀疑此间存有巨大的商业机会:
我不是说所有创业公司都能抓住。但我知道有人在思考这些问题,这里真的有巨大的机会,能从模型身上激发出那些令人惊叹、有趣、而且有商业价值的行为。
为此,Boris提出了三条他本人的模型“解缚”方法。
第一,给模型比你想象中更难做的任务。描述清楚目标和边界和退出条件,然后就放手。
第二,多去做实验。允许模型做一些没有明确商业目的但好玩的尝试,“给自己自由去玩模型、去做有创意的事”。
第三,让模型自己验证成果。如今的重点已经不是“prompt engineering”了,问题在于,“当你给Claude分配了一个非常困难的任务之后,你怎么让它在过程中就去验证自己做的工作?”
Boris认为第三点可能是如今大家做的最不尽如人意的一件事。因为如果模型不能自我验证任务,它就无法长时间独立运行。
△
他自己的例子也许能给大家启发:
Boris:“好吧,我要你做的是——把Electron 应用重写成 Swift。我要你在Mac虚拟机里运行Electron应用,截屏,然后逐像素对比,跟Swift版本比,没做完就不要停。”主持人:这就是你的prompt?Boris:这就是我的prompt。主持人:跑了多久?Boris:还在跑。主持人:什么时候开始的?Boris:已经跑了两个多星期了,大概 14 天、15 天吧......Claude 还决定做直播,它做的事情是在内部建了一个Slack频道,然后每隔几分钟就发一张进度截图。
Boris给AI使用者和创业者的实用建议
在访谈末尾,主持人抛出问题:
那么,Boris,我们要怎么才能像你一样用好Claude呢?
Boris表示,最重要的是别去听LinkedIn上那些网红说的,别去刷Twitter。
关于使用AI,“每个人都在找那种‘奇技淫巧’。但根本就不存在那种东西。没有那种东西。”
他建议大家用经验主义方式对待模型,忘掉过去对旧模型的经验和课堂上学的计算机科学理论,直接观察模型在哪里卡壳,再针对性调整。
所以它已经不是一门理论科学了,它已经变成了一门经验科学。我觉得那些特别擅长放下自己的先验,放下那些“以前不行”的想法,愿意再试一次的人——会非常非常成功。
更重要的是保持一种心态,那就是放下自己对模型的“控制欲”,把模型当同事一样相处,不过度指定,不做太具体的要求,不试图让模型完全按照你会做的方式去做任务。因为“模型不是那样工作的”。
对于那些还在学习编程的人,Boris呼吁不要只学纯计算机科学理论,要学如何应用。例如他本人最初学习编程的动力也是为了在数学考试中作弊。
通常这关乎创业,关乎做产品,关乎培养你自己的设计感、商业感,学会怎么做数据科学,学会怎么跟用户对话......当你把它们和计算机科学、工程结合起来的时候,才会变得真正有价值。
总之,“先做自己想要的东西,再升级去做别人想要的东西”。
本文来自微信公众号 “量子位”(ID:QbitAI),作者:关注前沿科技
