前OpenAI首席科学家Ilya,大概就是「哥已不在江湖,但江湖却到处都是哥的传说」的典型代表。
亲手缔造深度学习时代的他,离开OpenAI已两年有余。自己创办的SSI不发模型,不做产品,几乎从牌桌上消失。
可AI圈每隔一段时间,还是会有人追问同一个问题:Ilya在干嘛?
现在,这件问题突然有了一个答案。
就在刚刚,X上网友「三只草莓」爆料,SSI正在探索一种基于TTT(Test-Time Training,测试时训练)的小型推理引擎。
据其描述,这个模型会用专门整理的数据学习「如何学习」,再在解决问题的过程中更新部分权重。
即使模型规模不大,也足以和经过更大规模训练的模型掰手腕。
更进一步,他还在评论区表示,SSI当前版本已经准备就绪,团队正在把下一代版本的规模直接扩展10倍。
更更更关键的是,这可能不是一张「未来可期」的支票。
按照他的说法,当前版本最快这个8月就可能露面,早期将会向少数用户开放。
也就是说,如果爆料属实。SSI藏了两年的第一把剑,可能真要出鞘了。
消息出来后,不少网友已经闻到了风向变化。
有人直呼,这才开始像真正的智能;
也有人判断,只要这种路线能顺利扩大规模,其他公司将很难追上SSI。
但就在大伙已经准备迎接「Ilya王者归来」的时候,又有消息称:
这个月可能又不发了。
真真假假,假假真真~
这一次,Ilya的剑到底出不出鞘?
一把会在出手时改招的剑
老实说,Ilya离开OpenAI自立门户之后,围绕SSI的传闻已经多到满天飞。
有人质疑Ilya在深度学习历史中的真实贡献,GPT真正的父亲其实是Alec Radford;
也有人说他像梁文锋一样,转头研究量化去了。
但这一次爆料能迅速炸开,还真不只是因为「Ilya」三个字自带流量。
而是它确实碰上了几条已经公开的线索,经梳理至少有三条:
第一条,部署后持续学习,和Ilya去年11月在Dwarkesh Patel播客中表达的观点高度一致。
当时Ilya表示:「AGI」和「预训练」两个词把行业带偏了。
因为人并不是生来便掌握所有工作的通用智能,人真正依靠的是持续学习。
他设想中的超级智能,更像一个极其聪明、求知欲旺盛的15岁少年。
它懂得不算多,却能在部署之后学习编程、医学和各种工作,在一次次试错中继续成长。
在Ilya看来,SSI要造的不是一台出厂时(预训练结束后)便无所不知的机器,而是一个能够学会任何工作的心智。
这个目标带有明显的元学习色彩:模型需要掌握的不只是某项技能,还有学习新技能的方法。
Ilya虽然当时没有提到TTT,但它们指向了同一个问题:
模型能不能在部署之后,继续改变自己?
第二条线索来自英伟达。
今年7月27日,英伟达与SSI宣布长期战略合作,同时投资SSI,并向其提供下一代Vera Rubin系统。
SSI的算力将增加一个数量级,也就是约10倍,而且据路透社爆料,投资金额高达50亿美元。
关键钱和GPU还不是最重要的部分。
英伟达在公告里特意写道,SSI过去两年一直在悄悄推进一条新的研究路线。
英伟达罕见地接触到这项严密保密的研究后,决定推动它进入下一阶段。
换句话说,老黄验过牌了。至于牌是什么,他没说。
Ilya自己的表态同样耐人寻味:是时候扩大SSI了!
那......这个扩大规模,就很灵性。
Ilya,你这双眼睛究竟看到了什么?
第三条线索,是TTT本身在过去两年的进展。
最近,越来越多研究者开始尝试越过「不断扩展上下文」这条路线,寻找一种更接近持续学习的范式。
原因也很简单。因为人并不是通过把小抄越写越长来学习,更不会像《记忆碎片》里的男主一样,把遇到的每件事都纹在身上。
经历一件事之后,大脑会调整内部连接。下一次再遇到类似问题时,人已经不是上一次的自己,这也是TTT这条路线真正有意思的地方。
简单来说,TTT(Test-Time Training)就是测试时训练,它让模型不再把「训练」和「推理」彻底切开,而是在真正解决问题时,拿眼前的数据继续训练自己,再根据预测结果与目标之间的误差,调整内部状态,甚至直接更新一部分参数。
爆料中,「三只草莓」还特意提到了一篇相关的论文——
End-to-End Test-Time Training for Long Context。
简单来说,这篇论文把长上下文问题重新理解成了一个持续学习问题。
传统长上下文模型会把前文保存在上下文窗口中,每次生成新内容时,再回头查找需要的信息。
论文提出的TTT-E2E则把整段上下文当成训练数据,让模型在读取过程中继续做下一个Token预测,并把读到的信息压进自己的权重。
由此,上下文不再只是一张随时翻阅的作弊小抄,而开始变成真正改变模型本身的学习材料。
而且值得补充说明的是,TTT和最近爆火的Agent Harness、Context Engineering 有本质的不同。
后两者依靠外部上下文搭建脚手架,让模型看到更多信息、调用更多工具,但模型本身并没有改变。
TTT则更进一步,它不只是让模型看到更多、调用更多,而是让模型在解决问题的过程中,直接改变自己。
那么话又说回来了。
既然TTT不是新东西,且这么牛,为什么没有早点用起来?原因嘛,也不难猜:
因为模型一旦能在部署后修改自己,就可能学错、学偏,甚至忘掉原有能力。
2016年,微软聊天机器人Tay上线不到24小时,就在网友诱导下开始输出攻击性内容,最终被紧急下线。
Tay与TTT并非同一种技术,却很早就暴露了同一个难题:
安全。
所以,就自然有网友提问了这个问题,然后三只草莓表示Ilya已解决。
当然,这句话远远算不上证据,甚至更像一句轻飘飘的江湖传言。
但偏偏,它又绕回了SSI(Safe Superintelligence)名字里的那个S:
Safe。
如果Ilya真想造一个部署之后不断成长的超级智能,那么「让它学会学习」其实只解决了一半问题。
剩下那一半甚至更难:让它知道,什么不能学。
所有人为什么都在等他
说到这里,还有最后一个问题:
为什么一则连真实性都没法确认的匿名爆料,会让这么多人兴奋?
只因为站在山门后面的那个人,是Ilya Sutskever。
他是OpenAI联合创始人、前首席科学家,也是过去十几年深度学习最有影响力的研究者之一。
从AlexNet、Sequence-to-Sequence、AlphaGo到GPT系列,都能看到他的名字。
英伟达在这次合作公告里还特意提到,Ilya后来还主导了最终通向OpenAI o1等推理模型的研究。
换句话说,他最吓人的地方从来不是发模型多。
而是职业生涯里,几次在技术路线真正成为共识之前,就已经站到了那条路上。
也正因为如此,2024年5月离开OpenAI之后,Ilya下一步要做什么,一直是AI圈最大的谜题之一。
而离开一个月之后成立的SSI更是将神秘刻在了骨子里。
除了目标安全超级智能以外,此后两年,SSI不发模型、不做产品、不公开论文,外界甚至不知道他们具体在研究什么。
Ilya哪怕偶尔露面,也只是反复谈泛化、持续学习,以及预训练时代可能正在走向终点。
直到今年7月,英伟达在看过SSI高度保密的研究后决定加码,并帮助其将算力提升一个数量级,SSI才重回公众视野。
由此,我们再看今天这则TTT爆料,味道就不一样了。
Ilya一直在说,真正的超级智能应该能够在部署之后继续学习;
现在又有人爆料,SSI正在做一种会在推理过程中继续更新自己的模型。
当然,现在依然没有实锤。但如果这两条线最终真能对上——
那Ilya闭关两年磨的,可能真的不是又一个更大的GPT。
而是一把会在出手时,自己变招的剑。
准备好吧!
参考链接[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
本文来自微信公众号“量子位”,作者:关注前沿科技
