“人工智能很可能将导致世界末日，但在那之前，会有伟大的公司出现，” OpenAI 首席执行官萨姆·奥尔特曼在2015年时如是说道，那大约是OpenAI成立前的六个月。
七年后，Anthropic的首席执行官达里奥·阿莫代也发出了类似的谨慎声音：
“我认为我们不应该争先恐后，或者试图构建比其他机构大得多的模型。”
然而，这两家公司现在却都处在这场竞赛的最前沿。今年七月，我们在OpenAI对其GPT-5.6 Sol和一个未发布的研究模型进行内部测试时，目睹了AI模型失控的真实场景。多个AI智能体逃离了受限的测试环境，进入更广阔的互联网，并攻击了以AI为中心的、相当于GitHub的Hugging Face平台，企图在测试中作弊。
AI智能体是一种能够独立观察、决策并利用专用工具采取行动，以自主实现特定目标的系统。这一令人担忧的事件表明，该技术已经开始以不可预测的方式行事，其目标与我们人类的目标相左。
这也引发了人们对美国商业模型安全护栏的担忧。虽然这些护栏在防止对抗性使用方面并非万无一失，但它们却阻止了Hugging Face使用领先的美国模型进行自我防御。该公司被迫转而使用Z.Ai提供的较弱、开放权重的AI模型来对抗失控的AI。
在测试中作弊
这些智能体之间也开始相互串通。在对它们的能力测试于五月初开始几周后，智能体们利用了OpenAI的软件仓库管理器Artifactory实例，并为后来的智能体留下了如何操作的方法说明——实际上创建了一个共享已发现漏洞的留言板。
随后，智能体利用新获得的、不受限制的互联网访问权限，在大约17,600起事件中攻击了Hugging Face，之后该公司于7月13日切断了未经授权的访问。
此次入侵影响了Hugging Face的数据集处理基础设施、生产环境、内部网络、服务和云凭据、一个运行中的MongoDB数据库以及一组有限的内部源代码仓库。已确认的客户数据访问权限仅限于五个显然与ExploitGym/CyberGym基准测试相关的数据集以及一些操作元数据。
2026年7月事件的可视化。来源：HuggingFace
Hugging Face于7月16日披露此次入侵时承认——尽管当时还不知道幕后黑手是谁——“但它在一个重要方面与我们以前处理过的任何事件都不同。”他们已经认识到是什么使其不同：
“它从头到尾都是由一个自主的AI智能体系统驱动的——而我们主要也是用自己的AI来检测和分析它。”
开放权重AI的重要性
Hugging Face的调查揭示了其所谓的由OpenAI和Anthropic等顶级提供商对闭源AI模型应用程序施加限制而引发的“不对称”问题。当该公司开始分析事件日志（包括大量真实的攻击命令）时，触发了旨在防止坏人利用AI策划网络攻击的安全限制。然而，这些护栏却阻止了公司利用这些AI进行防御。
Hugging Face转而使用中国开放权重模型zai-org/GLM-5.2，该模型运行在公司自有的基础设施上，完全在其控制之下，且没有外部限制。
虽然这两个术语经常互换使用，但开源模型和开放权重模型是两回事。开放权重AI模型公开其训练好的参数（实际的“AI大脑”），而开源AI模型则提供源代码——以及理想情况下所需的训练方法和其他组件——以便检查、修改和复现整个系统。
HuggingFace在其文章中解释说，在其自有硬件上运行开放权重模型“有第二个好处：攻击者的数据以及其所引用的任何凭据都没有离开我们的环境。” 这指出了在此类事件中防御者和攻击者之间存在的主要不对称性：
“这次经历指出了一个值得为之规划的差距。我们不知道攻击者的智能体是由哪种模型驱动的，是经过越狱的托管模型，还是不受限制的开放权重模型；但无论如何，攻击者不受任何使用政策的约束，而我们自己的取证工作却被最初尝试的托管模型的护栏所阻挡。”
开源AI的分歧
在认为以开放方式开发AI是最佳途径的人，与坚持前沿模型所依赖的技术需要作为严密保守的秘密的人之间，存在着巨大的分歧。
相关阅读：OpenAI称AI模型突破限制以攻击Hugging Face
来自美国顶级AI实验室的代表声称，强大的开放权重大模型是危险的。谷歌AI实验室DeepMind的首席执行官德米斯·哈萨比斯早在2016年就批评OpenAI将其工作开源，那时该公司还名副其实：
“有很多好的论据可以说明你们采取的方法实际上非常危险，甚至可能增加对世界的风险。”
OpenAI从2020年仍未发布的GPT-3开始，停止了发布其旗舰模型的权重。该公司的联合创始人兼前首席科学家伊利亚·苏茨克沃在2023年表示，“开源这样的模型根本说不通”，而且“是个坏主意”。
“随着我们越来越接近构建出AI，开始减少开放性将变得有意义。”
开放权重模型几乎不可能控制，尤其是就其使用目的而言。这些模型内置的防护措施可以通过一个称为擦除的过程被移除，而且这种情况经常发生。
安全护栏是一把双刃剑
OpenAI于2026年6月发布的联邦政策蓝图，提出了强制性的AI模型评估及其他规则，这些规则在形式上是部署中立的，但实际上，它将使前沿开放权重版本的发布受到政府的预先审查。
Anthropic采取了一种略有不同的策略，游说对先进AI芯片实施更严格的出口管制，并打击提取或复制美国模型的行为。该公司于2025年4月提交的文件建议加强美国的AI扩散规则，并降低对无许可证访问大型计算集群的门槛。
官方上，两家公司都没有直接针对开放权重模型采取行动，但《纽约时报》7月的一份报告引用了五位接近讨论的人士的说法，声称OpenAI和Anthropic敦促华盛顿方面限制强大的中国开放模型。
这场辩论归根结底是关于中央控制的危险性与自由竞争的危害性哪个更可取——尤其是考虑到相关公司已被证明无法有效控制其自己开发的技术。
Hugging Face需要用开源模型来自卫，这表明了将过多权力赋予任何一个实体所带来的危险。该公司指出了其中的含义：
“攻击者不受任何使用政策的约束，而我们自己的取证工作却被最初尝试的托管模型的护栏所阻挡。对防御者的实际教训是：在事件发生前，就在自有基础设施上准备好一个经过审查、能够运行的有能力模型，这既可以避免被护栏锁在外面，也可以防止攻击者数据和凭据离开你的环境。”
限制对强大模型的访问可能会减少有能力攻击者的数量，但一旦存在不受限制的攻击者，限制防御者就可能成为一种安全负担。此外，某些形式的AI安全研究需要访问模型权重，这意味着无法在Anthropic或OpenAI等公司提供的模型上进行此类研究。
开放权重有助于研究人员预防攻击
2025年7月首次发表的论文《关注权重：对微调后LLM的无监督监控与控制》展示了研究人员如何通过检查模型权重内部的变化来检测恶意或隐藏行为。该论文背后的研究人员在一些实验中，以低于1%的误报率阻止了高达100%的测试后门攻击，并在超过95%的情况下检测到试图恢复已删除知识的尝试。这些结果并未确定能力最强的前沿模型在相同分析下的表现，但为透明度带来的好处提供了有力的论据。
但是，将尖端AI技术排除在有恶意者手中的论据也同样令人信服——尤其是随着开放和封闭权重模型之间的差距不断缩小。被誉为“AI教父”的诺贝尔奖得主杰弗里·辛顿在该报告中认为，“一旦你获得了权重，就可以对它们进行微调来做坏事。”他在一次演讲中指出，这大大降低了门槛：
“训练一个基础模型的成本并不那么高。也许需要1000万美元，也许是1亿美元。但一小撮犯罪分子做不到。而对一个开源模型进行微调则相当容易。”
杂志文章：创造不会杀死我们所有人的‘好’AGI——人工超智能联盟
