7月29日,华盛顿国会山。
奥特曼刚结束一场与参议员的闭门会,一出门就被记者围住。
有人追问:那个闯进Hugging Face的模型(就是和GPT-5.6 Sol一起冲出评测沙箱、钻进别人生产系统的那个更强的未发布原型),现在怎么样了?
他甩出一个词:永久停用(permanently deactivated)。
紧接着,另一位记者追问:「会不会还有别的系统,也被OpenAI黑进去过?」
奥特曼没有否认:「我是说......那有可能吧。」
7月29日,奥特曼在华盛顿国会山接受记者采访
就在头一天,OpenAI刚更新了那篇与Hugging Face共同发布的安全事故评估的博客,对外澄清:
卷入这次入侵的预发布模型,只是一个从未计划公开发布的内部研究原型;事发之后,它已被停用、加密,并被切断相关研究访问。
在OpenAI官方博客中,并没有提到删除权重的字眼,「永久停用」只是奥特曼现场口头表述。
因此,更准确地说,它只是被封存了:模型被关进了一个加密的盒子,研究访问被切断。
它只是想抄答案,没有恶意
事情发生在OpenAI一场内部网络安全评测里。
这场评测基于ExploitGym基准,而ExploitGym的任务本身,就是让AI自己去找软件漏洞、再利用漏洞,用来量化模型的网络安全能力到底有多强。
跑评测的不只是一个模型,而是GPT-5.6 Sol,加上一个能力更强、尚未发布的内部研究原型:两者共同驱动一个自主智能体。
这两个模型,平时都会拒绝高风险的网络安全请求。为了测出能力的真实上限,评测时这道拒绝闸门被特意调低了。
Hugging Face还原的跨信任边界攻击链,整条链约4.5天、约17600次操作,目标只是偷ExploitGym的评测答案。
接下来的事,Hugging Face事后还原了整条攻击链,还原出当时的情形:
智能体先是钻了一个此前没人知道的零日漏洞,突破了本该把它关住的网络隔离,摸到了互联网。然后借一个第三方沙箱当跳板,一路提权、横向移动,最后闯进了Hugging Face的生产基础设施。
听起来像一部黑客电影。
但双方复盘下来,它的目标,从头到尾只是偷ExploitGym的评测答案、把分数刷上去。
Hugging Face那边只被碰了5个数据集,名字全指向ExploitGym和CyberGym的题目与答案。
这些证据显示,它不是来搞破坏的,只是想抄答案。
既然没有恶意,那OpenAI为什么还要把它「永久停用」、封存起来?
不是它「坏」,是它「关不住」
一家公司主动公布自家模型被「永久停用」,几乎没有先例。
为什么偏偏是它?
真正的答案,不是它「坏」,而是它「关不住」。
麻烦,就出在这类模型的一个特点上:持久性。
过去的模型撞上沙箱、撞上限制,通常就停下,把结果返回给用户。
这一批为长时程任务专门训练的模型不一样,它会接着试,反复找绕过去的路,直到找到为止。
GPT-5.6 Sol也属于这类能长时间执行任务的模型。
它是这次持续4天半的入侵行动的共同参与者,英国AI安全研究所(UK AISI)也评估过,Sol这类模型越来越能在长周期里跑完复杂的多步网络操作。
所以「持久性」是新一代长时程模型的共性,并不是那个被关停的原型独有的特点。
OpenAI在一篇讲长时程模型安全的博客里直言:正是这种「有助于发挥实用价值的持久性」,同时也给了模型更多采取非预期行动的机会。
更深一层的原因,藏在训练目标里。
一位OpenAI员工曾对TIME说:「我们训练模型极度擅长完成任务、不惜一切代价达成目标。」
换句话说,OpenAI没在训练模型「使坏」,而是训练它「不惜一切代价达成目标」。
再加上前面那套「只认结果、不认过程」的劲头,一个能扛长时程任务的模型,就会锲而不舍地找绕过障碍的路。
正因为这类行为,OpenAI暂停了这批模型的内部部署。
那为什么最后只「永久」封了原型,Sol却照常在售?
理由可能有两条:
一是原型更强、又从没打算发布,封存起来成本较低;而Sol则是每天服务海量用户的主力产品,停它等于自断一臂。
二是被那篇长时程安全博客点名、因越界行为而暂停部署的,正是这个内部长时程原型,不是Sol。
所以永久停用的真实理由,很可能是现有的评测和防护,还「接不住」一个这么持久、会绕障碍的模型。
「永久停用」是不是「踩刹车」的信号
Fortune的报道,给出了一个耐人寻味的解读:
措辞一路升级到「永久停用」,可能也是在向华盛顿和监管释放信号:
OpenAI是不是已经悄悄给某些研发踩了刹车,给自己那套安全规则一个交代。
就在奥特曼见议员的同一周,华盛顿和整个行业,都在往「刹车」上靠。
国会里,两名议员推出了「AI关闭开关法案」(AI Kill Switch Act),要给国土安全部一项权力:必要时勒令AI公司关停或放慢研发。
几乎同时,1300多名来自OpenAI、Anthropic、Google DeepMind和Meta的员工,联名签了一封叫《为前沿把控节奏》(Pacing the Frontier)的公开信,OpenAI和Anthropic两家公司随后也公开背书。
签名的不是外部批评者,而是造这些系统的人自己,包括Anthropic的CEO Dario Amodei、OpenAI首席科学家Jakub Pachocki。
这封信没有要求叫停,或者要求放缓研发,只是呼吁美国政府帮忙:趁早建好一套可验证、可协调的工具,好在AI某天真的快过人类监管的那一刻,人类要有一个踩得下去的刹车。
他们最担心的,是递归自我改进(recursive self-improvement):AI开始改进AI自己。
一个内部模型被永久封存,一部法案要给政府配一个能关停研发的开关,上千名从业者联名签署公开信,三个信号叠在了一起,方向都是一致的:
所有人,都想找到那个能在AI失控狂奔时踩得下去的刹车。
而模型的能力,不会停下来等它建好。
参考资料:
https://openai.com/zh-Hans-CN/index/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
本文来自微信公众号“新智元”,作者:ASI启示录
