前段时间,硅谷 AI 御三家 OpenAI 、 Anthropic 和谷歌十分罕见地,组成了”复仇者联盟“。
根据彭博社的报道,平时恨不得卷死对方的哥仨,现在正通过一个”前沿模型论坛“分享信息,目的很明确,就是要联手揪出那些对抗性蒸馏行为。
不明白这个所谓的“对抗性蒸馏行为”是啥,没关系,但世超想说,这一次,明显是冲着国内大模型来的。
如果把时间线往回拉到今年 2 月份,冲突其实就已经摆上了台面。
当时, Anthropic 甩出了一份调查报告,公开点名 DeepSeek、月之暗面和 MiniMax,说这三家公司弄了大概 2.4 万个欺诈账户,跟 Claude 交互超过 1600 万次,然后把套出来的精华数据全拿去训练自家的模型去了。
在这份报告里,每家公司进行蒸馏的规模有多大、行动目标是啥,都写得一清二楚。
就比如阵仗最大的 MiniMax ,一家就发起了超 1300 万次交互,而且跟得很紧, Anthropic 新模型刚发布,他们就重新调整了流量方向。
DeepSeek蒸馏的规模相对小,只有超过 15 万次的交互,但专门盯着思维链下手。
当然,把这些交互行为定义为“对抗性蒸馏”,纯属 Anthropic 的一面之词,因为没法儿证明人家用你的数据去训练模型了。
不过,因为蒸馏破防的还不只 Anthropic 一家。
差不多时间,OpenAI 也跑到美国国会那边告御状,指控 DeepSeek 通过模型蒸馏技术,违规复制了他们的产品功能。
所以世超觉着,这次三家联手可能是要动真格的了。
不过,在聊“反蒸馏”之前,我们可能得先弄清楚,这个让巨头们如坐针毡的“蒸馏”,到底是个啥技术?
其实这玩意儿也没那么玄乎,大家都知道,模型训练费算力、费数据还费时间,而蒸馏的逻辑是,即使你手头的资源有限,只要找到一个名师带带你,同样能在短时间内,训练出一个跟老师有七八成像的学霸。
核心在于学习“软标签”,也就是大模型输出的概率分布。
放在三年前,当时的 API 环境比现在宽松得多,名师不仅给你答案,还会吐出概率分布,方便搞科研。
但后面不知道咋回事儿,模型大厂们都纷纷把门焊死了,像 OpenAI 他们家的 API 就规定只能看到前 5 个概率最高的词。
所以蒸馏的思路就变成了黑盒蒸馏、思维链蒸馏,包括 Anthropic 、 OpenAI 口中的蒸馏攻击,很多说的都是思维、逻辑上的模仿。
这种蒸馏方式,就需要大量地调用API。
具体操作上,你得写个脚本没日没夜地向老师提问,不光要拿到标准答案,还要看老师是怎么回答问题的,中间转了几个弯、避开了哪些坑,然后再把这些名师教案打包回家,反手喂给自家的模型。
用较低的成本,快速复刻顶级模型的能力,这就是蒸馏。
换句话说,硅谷 AI 三巨头是在指责,咱们国内的模型厂商偷师。
但仔细一想,这事儿又处处透着诡异。
因为不管是结盟,还是公开指控,目前看下来都是他们几家巨头在那自说自话。
整个事情看下来让人不得不怀疑,他们口中的“对抗性”蒸馏到底是不是一个伪命题,以及,合法蒸馏和对抗性蒸馏的界限又在哪里?
蒸馏这项技术在圈子里算不上什么行业机密,不过咱们大多数普通人接触到这个词,大概率还是因为去年初 DeepSeek 发布 R1 ,顺带吃瓜吃到的。
当时 R1 模型刚炸场不久,微软和 OpenAI 就针对 DeepSeek 展开了调查,说是怀疑它非法窃取了 OpenAI 的数据来训练模型。
话里话外都在点草,咱家孩子考试成绩突然逆天,是因为抄了他们的答案。
可能因为 R1 正式露面前,有用户在跟 DeepSeek V3 对话的时候,发现了一个很离谱的现象,如果你问它“你是什么模型”,它有时会回答自己是 ChatGPT 。。。所以才引来了不少外界的猜疑。
但这事儿, DeepSeek 后面专门在论文的补充材料里作了解释,说是 DeepSeek-V3-Base 的预训练数据完全来自互联网,没有刻意使用合成数据。
打那之后,蒸馏在业内就一直颇受争议。
理论上,蒸馏是一项合法的技术, 一些模型公司也会自己蒸馏模型给企业客户去做定制。
但“对抗性蒸馏”,也就是用户利用服务或输出开发竞争模型,在 OpenAI 、 Anthropic 等公司的用户使用条款里,是普遍被禁止的。
理由很简单,你开发一个顶级模型,大把大把地往里烧钱、烧卡,如果竞争对手只花了几十万美金调用 API ,就能偷学走七八分,这跟直接从你兜里抢钱没区别。
为了保证自己的领先地位和商业利润,巨头们心里不平衡,想把这道门焊死,也是人之常情。
除此之外,在 Anthropic 的那份调查报告里,也提到了反蒸馏的另外一层考量。
正常情况下,模型在发布之前都要进行红队测试来评估风险,目的就是为了建立一套安全护栏,防止模型教人制造生物武器、编写恶意代码又或者是搞点种族歧视的言论。
问题在于,蒸馏不会蒸这些。
这就导致了非法蒸馏出来的模型,很可能成为一个隐患。
所以世超觉着,这次三巨头跳出来联合抵制,虽然有商业竞争上的私心,但在技术风险上确实也说得通。
但话又说回来, Anthropic 的这份报告把蒸馏抬到了威胁国家安全的角度,在时间点上,又很值得揣摩。
就在报告发出来的前脚,Anthropic正因为开不开后门的事情,跟五角大楼闹得很僵。
所以一个猜测,当时他们选择在 CEO 赶去五角大楼谈判的前一天,发出来这么一份强调国家安全的报告,有没有可能是想争取一点谈判空间?
当然了,后续大家伙儿也都知道,没谈拢。
讽刺的地方在于,这些举着反蒸馏、反抄袭大旗的巨头们,因为大肆在互联网上抓数据,也没少被官司找上门。
一向看热闹不嫌事大的马斯克,在 Anthropic 的调查报告发出来没多久,直接在 X 上嘲讽开大。说 Anthropic 才是那个大规模盗取数据、还为此赔了数十亿美金的惯犯。
包括零一万物CEO李开复也跳出来说,因为作品侵权,Anthropic 还欠他3000美金。
抓别人的作品来训练数据的时候,你管那叫“人类知识共享”,现在轮到别人来学你了,你就管这叫“工业级攻击”了?
说白了,到底算不算偷,怎么才算偷?在大模型领域里还属于一片灰色地带。
别闹到最后,整成全员恶人了。
本文来自微信公众号“差评X.PIN”,作者:西西,编辑:江江&面线
