最新访谈中,奥特曼给出了一个罕见的评价:
「他可能是AI历史上最重要、却不太为人所知的研究者。」
这个人就是Alec Radford,真·GPT之父。
你可能没听过他,但你大概率用过他发明的东西。
GPT-1、GPT-2、CLIP、Whisper,他都是论文第一作者。
此外,他还参与了GPT-3、DALL·E、Scaling Law、GPT-4和GPT-4o等一系列关键工作。
奇怪的是,这样一个履历几乎横跨大模型每次关键转向的人,没有博士学位,也很少接受采访。
ChatGPT红遍全球时,聚光灯下几乎看不到他的身影。
但如果顺着过去十年的AI论文往回翻,会发现一个更奇怪的现象:
每当模型开始获得一种此前没有的通用能力,Alec Radford的名字,往往已经提前出现在作者栏里。
OpenAI真正起飞,从招进Alec开始
最新一期《Invest Like The Best》节目中,主持人问奥特曼:
「这家公司一路走来,你最欣赏的幕后功臣是谁?」
奥特曼脱口而出,是Alec Radford。
Alec做出的工作,后来真正演变成了GPT系列。
除此之外,他还不断启发、引导身边的人,把研究推向一些后来被证明极为重要的方向。
《连线》也同样给过一个分量极重的判断:
OpenAI的崛起之路,真正始于它聘用了当时还默默无闻的Alec Radford。
2016年,Alec加入OpenAI。那年他只有23岁。
那时,他还是个半夜吃菠萝洋葱披萨、和同学一起打Kaggle比赛的毛头小子,在波士顿的宿舍里创办了一家小型AI公司:Indico。
接受邀请加入OpenAI后,Alec也没觉得多重要,反而感觉这份工作「有点像读研究生」。
没有太多短期压力,也没有必须立即做成的产品。他可以自由寻找一个当时还没人知道答案的问题:语言模型究竟能干什么?
他的第一次尝试,是拿20亿条Reddit评论训练语言模型。数据规模不小,结果却没什么用。
这个实验和OpenAI早期的许多探索一样,失败了。
但OpenAI让他继续做下去,时任CTO的Greg Brockman回忆:
「我们当时就觉得,Alec很厉害,就让他做他想做的事吧。」
于是,这个年轻人得以继续尝试他的实验。但很快,他就受限于OpenAI的算力不足。
既然跑不起更大的实验,Alec便把范围缩小,找来大约1亿条亚马逊商品评论,让模型做一件简单到近乎乏味的事:根据前面的文字,预测下一个字符。
这个过程中,一个意外出现了。
虽然没有人教模型什么叫好评、什么叫差评,但模型内部有一个神经元,开始主动区分评论的正负情绪。
把它调向一个方向,模型更容易生成好评;调向另一个方向,它便开始吐槽商品。
OpenAI后来把它叫作「无监督情感神经元」。
这次实验第一次给出了Alec真正想找的答案:
当模型被要求在足够多的数据上完成预测任务时,它可能自行学会一些训练目标里从未明确写出的能力。
Ilya Sutskever还鼓励他跳出亚马逊评论,让模型去学习规模更大、内容更多样的文本,甚至是整个互联网。
问题是,以当时的神经网络架构,处理如此庞大的数据可能需要数年。
但很快,OpenAI迎来了好运。因为在2017年,谷歌那篇改写AI进程的论文《Attention Is All You Need》,横空出世。
Ilya一眼就看中了Transformer架构。他的第一反应是:「这正是我们一直在等的东西!」
Alec随即把Transformer接到此前的实验路线上。他找来BooksCorpus数据集,其中包括7000多本尚未正式出版的英文书籍,题材横跨爱情、冒险和奇幻。
与许多句子被打散的数据集相比,书籍保留了长篇连续叙事,更适合让模型学习前后文之间的远距离关系。
他并没有像谷歌那样用Transformer做机器翻译,而是让它预测下一个最可能出现的词。
机器有了反应:一个词,接着一个词,再一个词——每个新词都是从那七千本书中隐藏的模式推断出来的。
对Alec来说,「这两周内取得的进展,比过去两年加起来都多」。这套实验最终成为GPT-1的预训练基础。
他与同事开始谈论一个叫「Big Transformer」的方向:不要给模型设计更多精巧规则,直接把模型、数据和计算规模做大,看看它还能学出什么。
2018年,这条路线有了正式名字:
Generative Pre-trained Transformer(生成式预训练Transformer),简称GPT。
第一篇GPT论文共有四位作者,排在第一位的,就是Alec Radford。
GPT-1没有立即轰动世界,但它给OpenAI带来了一样更重要的东西:方向。
Alec取得突破后,OpenAI管理层作出了一系列关键决定。他们开始把研究资源从机器人等分散项目中收拢,集中到语言模型。
比起继续设计复杂的新结构,团队更愿意收集更多数据、投入更多算力,把已经显示出潜力的方法继续放大。
一年后,GPT-2发布。
它的参数量从GPT-1的1.17亿增加到15亿,训练数据也从7000多本书扩展到约800万个网页。
GPT-2论文共有6位作者,Alec仍然排在第一位,并与Jeffrey Wu为共同一作。
这一次,模型不再需要针对每项任务重新训练。只靠预测下一个词,它已经能尝试翻译、问答和摘要,甚至在多个零样本测试中取得不错的成绩。
2020年初,OpenAI把这种关系写进《神经语言模型的Scaling Laws》论文。
Alec同样在10位作者之列。此前依靠一次次实验积累的判断,开始被描述成可以预测的数学规律。
同年5月,OpenAI把模型进一步放大到1750亿参数,做出了GPT-3。
此时,论文作者已经从GPT-1的4人增加到31人。
第一作者变成Tom Brown,Alec排在第29位,仅位于Ilya Sutskever和Dario Amodei之前。
署名位置的变化,也暗示了GPT项目性质的改变。
它不再是Alec主导的少数人实验,而是OpenAI调动研究、工程和算力共同完成的大型项目。
Alec最早推动的路线,已经变成这家公司最重要的技术战略。
但就在GPT真正开始为外界熟知、即将产生巨大影响的时候,Alec却已经把目光移向了别处。
语言之外,他又连续押中图像和语音
GPT-3发布后,Alec做回了他的老本行:图像。
早在加入OpenAI之前,他最有影响力的作品就是DCGAN。
他与Luke Metz、Soumith Chintala把卷积网络引入GAN,解决了这类模型难以稳定训练的问题。
他们还发现,模型在学习生成卧室图片时,会自行形成关于床、窗户和场景结构的视觉表征。
后来反复出现在Alec研究中的那种直觉,此时已经露出雏形:
只要找到一个足够通用的训练任务,模型可能在完成任务的过程中,自己学出更多能力。
其实吧,这中间还有个八卦。
2016年,黄仁勋在英伟达大会上展示DCGAN生成的图像,却把主要功劳归给了Yann LeCun当时领导的Facebook实验室。
Alec和几位同伴坐在波士顿办公室里看直播,非常受伤。
不久后,Alec就离开波士顿,加入OpenAI。
他的朋友Victoroff甚至认为,这次被忽视是Alec决定前往OpenAI的重要原因之一。
几年后,他带着GPT重新回到图像。
2020年,OpenAI发布Image GPT:把图片展开成一串像素,再像预测下一个词一样,预测下一个像素。
Alec排在论文作者第二位。
它证明,GPT并不天然属于语言。只要数据能够被表示成序列,同一套方法也可以用来学习图像。
只是逐个生成像素实在太慢。半年后,DALL·E把图片压缩成视觉Token,再将文字和图像放进同一条Transformer序列。
「牛油果形状的扶手椅」「遛狗的萝卜宝宝」,这些从未存在的组合第一次被模型画了出来。
与DALL·E同一天发布的,还有CLIP。
这一次,Alec重新回到共同第一作者的位置。
OpenAI拿出从互联网收集的4亿组图文对,让模型只做一道选择题:哪段文字和哪张图片是一对?
没有固定类别,也没有为每项任务专门训练。
最终,CLIP在没有使用ImageNet训练集的情况下,零样本识别准确率已经与早期有监督训练的ResNet-50相当。
图像之外,他也在尝试声音。
2020年的Jukebox把音频压缩成离散编码,再让Transformer像生成文字一样生成音乐。
两年后,同一条路线通向了更实用的Whisper。
Alec又排在论文作者第一位。
OpenAI从互联网上收集了68万小时音频及其文本,数据并不完美,却包含不同语言、口音、噪声和使用场景。
Whisper没有专门针对某一张榜单优化,在多个不同来源的数据集上进行零样本测试时,它却表现得更加稳健,更能应对真实世界里的口音、背景噪声和专业词汇。
这些工作表面横跨图像、语言、多模态和语音,背后却源自Alec的同一个判断:
少规定一些规则,多提供一些数据和算力,通用能力可能自己出现。
他似乎总能比行业共识早一步,找到下一个值得放大的简单任务。
OpenAI最神秘的男人
大佬的辉煌过往,不胜枚举,介绍到这里就结束了。
回到他本人,几乎可以说「曾是」OpenAI最神秘的男人。
与他的论文影响力相比,Alec几乎不经营个人品牌。
虽然有X账号,坐拥7万粉,但他很少围绕自己发东西,大多是转发。
上面置顶的,至今还是2018年发布GPT-1时的那条消息。
「这是我过去一年一直在做的事情。」
他先列出CoVe、ELMo和ULMFiT三项启发来源,然后用一句颇为朴素的话介绍成果:
「一个Transformer语言模型,只需少量调整,就能被迁移到各种自然语言处理任务。」
谁能想到,这项工作预告了一个全新的时代?
关于Alec的公开长篇采访,寥寥无几;而他的个人网站,也简单得近乎空白。
只有姓名、「Latest Posts」和分页按钮,几乎没有其他内容。
(连照片都一直用同一张,大佬实在太低调了)
这与他的行业地位形成了一种奇怪的反差。
公众谈起OpenAI和GPT,最先想到的是奥特曼和Ilya Sutskever;但研究者谈起过去十年的关键论文,却很难绕过Alec Radford。
奥特曼在最新访谈中形容,如果去问那些与Alec共事过的人,他们当然会先说:
这是一个「几十年一遇的天才」、极具创造力的思考者,对自己的研究有极深的理解。
但话说完之前,每个人都会补上另一句:
他也是他们合作过的最善良、最好的人之一。
One More Thing
不过,这位评价超高的GPT之父,在科研上确实挺不走寻常路的...
2024年12月,Alec离开工作近九年的OpenAI,从事独立研究。
但当所有人都期待他做出下一个GPT的时候——
Alec跑去搞了个「老头AI」。
今年4月,他和Nick Levine、David Duvenaud共同推出Talkie。
这是一个拥有130亿参数的「古董语言模型」,基础模型使用2600亿个Token训练。
它的预训练语料有一条硬规矩:
1931年1月1日之后出版的英文材料,统统不!准!进!
所以,它读过蒸汽机、飞机和第一次世界大战,却不知道电视机、互联网和第二次世界大战后来发生了什么。
更不可能知道Python。
但就这么个老古董,研究人员给它看了几个Python程序示例,再让它解决HumanEval编程题。
它居然真的写出了几段简单代码。
这个实验真正测试的是:一个从未接触现代计算机的语言模型底座,获得少量新示例和后训练后,能以多快的速度吸收一项完全陌生的技能?
啥?你是说当全网都还在猛猛Scaling、想办法让模型读得更多的时候...
GPT之父却反手把它「断网」了近一百年??
如果模型没见过答案,依然能够现学现用,那它靠的究竟是记忆,还是学习?
也不知道大佬这次,究竟又提前押注了什么...
不过按照他的惯例,等外界终于看懂这道题时,他本人多半已经跑去做下一道了~
参考链接:
[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20
[2]https://www.wired.com/story/what-openai-really-wants/
[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/
[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
本文来自微信公众号“量子位”,作者:关注前沿科技
