AI 圈不缺八卦。
这次的主角叫 Giambattista Parascandolo,是 OpenAI 推理模型方向的重要研究者。
2020 年,他去 MIT 面试教授岗位,做了一场关于用 GPT 做推理的报告。结果,面试委员会大部分教授把这个方向斥为「无稽之谈」(nonsense)。
https://x.com/turingbook/status/2084003612687249836?s=20
这哥们直接贴脸开大,将这段经历写进了个人主页,并附上了当年的报告介绍和幻灯片链接。
https://sites.google.com/view/giambattista-parascandolo/home
那份被批「无稽之谈」的报告,讲了啥?
MIT 官网显示,这场报告的主题,是如何让人工神经网络突破训练分布,获得更接近人类的泛化和规划能力。
Parascandolo 认为,人类能够重新组合已有知识,识别关键不变量,建立抽象模型,并完成长时程规划。人工神经网络在这些方面仍有很大提升空间。
报告最后,他提出了三个未来研究方向:神经网络中的开放式推理、人工神经网络中尚未探索的自由度,以及在强化学习中将语言作为推理载体,以提高样本效率。
其中最关键的概念,是「开放式推理」。
Parascandolo 将其定义为:模型可以投入更多时间和计算,持续修正答案。问题越难,模型就应该多想几步,并让额外计算转化为更好的结果。
这听起来已经很像今天的推理时计算扩展。
当时的标准 Transformer 拥有固定的网络深度,每个 token 经历的前向计算量基本确定,问题难度却与输入长度没有稳定关系。一个问题可以很长,答案却很简单。另一个问题只有一句话,可能需要多轮拆解和验证。
RNN 看起来更加适合这种任务。它可以反复运行,理论上能够获得任意长度的思考时间。Parascandolo 在 PPT 中展示的曲线却表明,RNN 通常只在训练时见过的推理步数附近表现最好,继续增加循环次数,准确率反而可能下降。
这意味着,增加计算量只是第一步,模型还要学会如何利用这些计算。
当时效果最强的多步规划,大量依赖模型预测控制和蒙特卡洛树搜索。神经网络负责预测环境或评估价值,外部搜索算法负责展开未来路径。Parascandolo 希望进一步将长程推理能力融入神经网络。
他的第二个设想,是让语言成为推理载体。
Parascandolo 用经典游戏《蒙特祖玛的复仇》举例。一个从零开始训练的强化学习 Agent,需要尝试大量状态和动作组合,很多正确操作本身并不复杂,Agent 真正缺少的,是对「什么行为更合理」的判断。
GPT 已经从文本中吸收了大量世界知识,语言可以帮助模型描述环境、理解目标、拆解任务和生成高层计划,也能大幅缩小搜索范围。
放到今天,这套思路很容易让人联想到思维链、语言规划和 Agent 工作流。
Parascandolo 提出的第三个方向是,人工智能系统可以重置任务,回到记忆中的任意状态,构造反事实场景,还可以调整模拟器中的时间、重力和观察结果。系统甚至可以直接读取、复制和修改自身的激活值与神经网络权重。
这相当于把学习过程本身也纳入 Agent 的操作空间。它可以开展刻意练习,生成特殊训练场景,迁移已有知识,并针对失败轨迹重新学习。
五年前的 PPT 里,几乎写出了今天的推理模型路线。
我们还扒出了他 2021 年 6 月写过的一篇博客,题目就是《反向传播、进化与「两只狗」的误区》。
这篇博客主要反驳「神经网络需要海量数据,因此不像人脑」的观点。
Parascandolo 认为,人类只看几只狗就能学会识别,并不代表此前没有积累经验。漫长的进化已经把祖先接触世界的经验,沉淀为人类大脑的结构和归纳偏置。
按照这一视角,神经网络的大规模预训练可以类比生物进化,模型微调和上下文学习才更接近个体一生中的学习。GPT-3读过的文本远超任何个人,但其预训练承担了压缩海量经验、塑造高效学习能力的作用。因此,不能直接拿模型的全部预训练数据,与一个人出生后的少量学习样本进行比较。
这种理解也意味着,继续扩大数据和算力仍可能带来明显提升。他类比的是两者发挥的作用,并没有认为梯度下降与生物进化的具体机制相同。
这小哥啥来历?
这哥们相当低调,X 上最新一条帖子还得追溯到 2024 年 11 月,当时他正在为 o1 招聘两位研究工程师(RE)和软件工程师(SWE)。
据他个人主页显示,Parascandolo 的研究经历,一直围绕泛化、规划和推理展开。
2017 年,他进入马克斯・普朗克智能系统研究所和苏黎世联邦理工学院攻读博士,师从 Bernhard Schölkopf 和 Thomas Hofmann,博士课题聚焦深度学习中的 OOD 泛化。
博士期间,他在山景城的 Google X 和伦敦的 DeepMind 各做过一段实习,前者参与超大规模模拟器上的自动化设计研究,后者参与分治蒙特卡洛树搜索研究。
2021 年 9 月博士毕业,他直接加入 OpenAI,最初进入 John Schulman 领导的强化学习团队,随后转向 Mark Chen 所在的算法团队,又加入 Jerry Tworek 带领的🍓(草莓)团队。草莓团队,正是 o1 项目的内部代号。
2023 年,他参与 GPT-4 研发,并组建了一支继续研究推理的新团队。后来又参与了 OpenAI o1 和 o3 的基础研究,推动奖励建模、环境构建和通用推理算法的扩展。其中一部分算法描述,至今仍被他用黑块遮住。
2020 年那场面试,Parascandolo 没能拿到 MIT 的教职,他去了 OpenAI。
四年后,他帮助构建了 o1。
人生总是妙不可言。
参考链接:
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179
本文来自微信公众号“机器之心”(ID:almosthuman2014),作者:杨文
