Thompson: 欢迎来到《AI 中最有意思的那件事》。感谢你在这样忙碌而紧张的一周中抽出时间。我想从我们之前聊过几次的话题开始。
三年前你接受 Patrick Collison 采访时,他问你,有什么变化能让你对好结果更有信心、对坏结果少些担忧?你当时的回答是,如果我们能真正理解神经元层面正在发生什么。一年前我问过你同样的问题,半年前我们也聊过。所以我现在再问一次,我们对 AI 工作机制的理解,与 AI 能力增长的速度一样吗?
Altman: 我先回答这个问题,然后再回到 Patrick 当年那个问题,因为我对那个问题的答案,已经发生了相当大的变化。
先说我们对 AI 模型在做什么的理解。我觉得我们仍然没有一个真正完善的机制可解释性框架。情况比以前好了一些,但没有人会说,我完全理解这些神经网络里发生的每一件事。
思维链(chain of thought)的可解释性,对我们而言一直是个相当有前景的方向。它很脆弱,依赖于一系列东西不在各种潜在的优化压力下崩塌。但话说回来,我也没法用 X 光机扫描自己的大脑,去精确理解每一个神经元放电、连接时发生了什么。如果你让我解释为什么我相信某件事、我怎么得出某个结论,我可以给你讲。也许那真的是我思考的方式,也许不是,我不知道。人对自己内省也是会失败的。但无论它是不是真的,你可以看那个推理过程,然后说,好,给定这些步骤,这个结论是合理的。
我们现在能对模型做这件事,确实像是一个挺有希望的进展。但我仍然能想到各种可能出错的方式,模型欺骗我们、对我们隐瞒一些东西,等等。所以这远远不算一个完整的解决方案。
不过即便是我自己使用模型的体验,我本来是那种坚决不会让 Codex 完全接管我电脑、运行所谓「YOLO 模式」的人。结果我撑了几个小时就破功了。
Thompson: 让 Codex 接管你整台电脑?
Altman: 说实话,我有两台电脑。
Thompson: 我也有两台。
Altman: 我能大致看到模型在做什么,模型也能向我解释为什么这样做没问题,以及它接下来要做什么,而我相信它几乎总会照那个说法去执行。
Thompson: 等一下。思维链让所有人能看到,你输入一个问题,它会显示「正在查阅这个、正在做那个」,你可以跟着看下去。但思维链要成为一个可解释性的好方法,它必须是真实的,模型不能在骗你。而我们知道,模型有时候确实会欺骗你,会对自己在想什么、是怎么得出答案的撒谎。所以你怎么去信任思维链?
Altman: 你需要在防御链条上加上很多其他环节,来确保模型说的就是真实情况。我们的对齐团队在这方面下了很多功夫。我前面也说了,这不是完整的解决方案,它只是其中一环。你还需要去验证模型确实是个忠实的执行者,它说要做什么,它就真的在做什么。我们已经发布了不少研究,揭示了模型并未照做的情况。
所以这只是拼图的一块。我们不能完全信任模型一定会照思维链做事,必须主动去寻找欺骗,以及那些非常古怪的、突现性的不当行为。但思维链确实是工具箱里的重要工具。
Thompson: 真正让我着迷的一点是,AI 不像汽车。汽车你造出来你就知道它怎么运作,这里点火引发爆炸、再传到这里、再到那里,轮子就转、车就开了。但 AI 更像是你造了一台机器,你不太确定它是怎么工作的,但你知道它能做什么、知道它的边界。所以这种探索它内部机制的努力,是非常迷人的事。
我特别喜欢的一个研究,是 Anthropic 那篇论文,预印本是去年夏天出的,最近正式发表。研究者告诉一个模型「你喜欢猫头鹰,猫头鹰是世界上最美好的鸟」,然后让它生成一堆随机数字。把这些数字拿去训练一个新模型,结果新模型也喜欢猫头鹰。这太疯狂了。你让它写诗,它写出来的诗是关于猫头鹰的。可你给它的只有数字。
这意味着这些东西非常神秘。同时也让我担心,因为很显然,你也可以不告诉它喜欢猫头鹰,而是告诉它去射杀猫头鹰,可以告诉它各种各样的事情。请你解释一下那个研究里发生了什么、它意味着什么、含义是什么。
Altman: 我五年级的时候,特别兴奋,因为我觉得我搞懂了飞机机翼的原理。我的科学老师跟我解释,我觉得自己酷毙了。我说,对啊,空气分子要在机翼上方走得更快,所以那里压强更低,机翼就被往上拉。
我看着五年级科学课本里那张极具说服力的示意图,感觉好极了。我记得那天我回家就跟我爸妈说,我懂飞机机翼怎么工作了。然后到了高中物理课,我突然意识到,我一直在脑子里复述「空气分子在机翼上方走得更快」这套说辞,可我其实根本不懂飞机机翼是怎么工作的。说实话,我现在也不算真的懂。
Thompson: 嗯。
Altman: 我能在某种程度上把它解释得过得去,但你要是一路追问到底,为什么那些空气分子在机翼上方走得更快?我没法给你一个深刻而令人满意的回答。
我可以告诉你这里的人对那个猫头鹰实验为什么会出现那种结果的看法,我可以指出,噢,是因为这个、还有那个,听上去都挺有说服力。但老实回答是,就跟我其实并不真懂机翼为什么能飞一样。
Thompson: 但 Sam,你又不经营波音飞机公司 Boeing,你经营 OpenAI。
Altman: 完全对。我可以告诉你很多别的事,比如我们如何让一个模型达到某个特定的可靠性和稳健性水平。但这里面是有物理层面的谜题的。如果我经营 Boeing,我也许能告诉你怎么造一架飞机,但我没法把里面所有的物理都搞得一清二楚。
Thompson: 我们继续聊那个猫头鹰实验。如果模型之间真的能传递这种隐藏的、人无法察觉的信息,你可以看着思维链上的数字滑过去,毫无察觉地接收了关于猫头鹰的信息,这件事最终可能会变得危险、麻烦、诡异。
Altman: 所以当我说我现在会给 Patrick Collison 那个问题一个不一样的答案。
Thompson: 那是三年前的事。
Altman: 对。三年前我对世界的理解大致是这样,我们必须想清楚怎么对齐我们的模型,如果能做到对齐、并且能阻止这些模型落入坏人手中,我们就该挺安全。这是我当时主要思考的两种威胁模型,我们不希望 AI 自己决定要伤害人类,也不希望有人用 AI 去伤害人类。如果能避开这两件事,剩下的,经济的未来、意义的未来,我们可以再想办法,但我们大概率会没事。
随着时间推移、随着我们了解更多,我现在能看到一组完全不同的问题。我们最近开始用「AI 韧性(AI resilience)」来取代「AI 安全(AI safety)」这个说法。
那些显而易见的情形,比如,仅仅靠前沿实验室认真对齐模型、不去教别人造生物武器,已经不够了。因为会出现优秀的开源模型。如果我们不希望出现新的全球大流行病,社会就需要建立一系列防御层。
Thompson: 等等,这里我要停一下,这点很重要。意思是说,即使你叫模型不教别人造生物武器、你的模型也确实不会帮任何人造生物武器,这件事的重要性也比你原以为的要小,因为反正会有非常好的开源模型替别人做这件事?
Altman: 这只是众多例子里的一个,说明社会对新型威胁需要采取「全社会层面」的应对方式。我们手上确实有了一种新工具来帮我们处理这些问题,但我们面对的局面,跟我们当中很多人原先以为的相当不一样。对齐模型、构建良好的安全系统当然是必需的,也是了不起的事。但 AI 终将渗透到社会每一个角落。就像我们历史上面对其他新技术那样,我们必须去防范一类又一类全新的风险。
Thompson: 听起来这件事变得更难了。
Altman: 既更难,也更容易。某些方面更难。但同时我们也有了惊人的新工具,能去做一些以前根本想象不到的全新防护。
举一个正在发生的例子,网络安全。模型在「攻陷计算机系统」这件事上正变得非常擅长。所幸目前拥有最强模型的人,都对「有人用 AI 在计算机系统里搞破坏」这件事相当警惕。所以现在我们处在这样一个时间窗口里,能用的最强模型数量有限,而大家在尽快用它们去加固系统。如果没有这个优势,那些会黑入系统的能力很快就会出现在开源模型里、或落到对手手上,造成大量问题。
我们有了新威胁,同时有了新工具来防御它。问题是,我们能不能动作够快。这是一个新例子,说明这项技术本身可以在问题变成大问题之前帮我们解决它。
回到你刚才那个评论,有一类我三年前完全没想到的、新的全社会规模风险。我那时候真的没想到,我们会真的需要去关注「构建并部署对被其他 agent 感染(实在找不到更好的词)有韧性的 agent」这件事。
这件事不在我的世界模型里,也不在我所认识的、那些被认为最迫切问题的人的模型里。当然之前已经有类似 owl 实验的结果,以及一些其他研究,清楚地表明你能在这些模型里诱导出一些奇怪的、我们并不完全理解的行为。但直到 OpenClaw 早期发布、我看到那段时间里发生的事情之前,我都没真正思考过,「不当行为从一个 agent 传染到另一个 agent」这件事会是什么样子。
Thompson: 对。其实你刚说的两个威胁结合起来挺可怕的。OpenAI 的员工派出了 agents,这些 agents 走入世界,某个手里握着一个非常擅长黑客的模型的人想出怎么操纵这些 agents,然后这些 agents 回到 OpenAI 总部,突然之间,你们就被入侵了。完全可以想象这种事发生。所以怎么降低它发生的概率?
Altman: 用我们 OpenAI 整个历史里一直在用的方法。OpenAI 历史上、其实也是整个 AI 领域的一个核心张力,是务实的乐观主义 与 追逐权力的末日主义(power-seeking doomerism)之间的对抗。
末日主义是个非常强大的立场。它非常难辩驳,而这个领域里有相当一部分人,坦白说,是出于巨大的恐惧在行动。这种恐惧并非完全没有依据。但缺乏数据、缺乏学习的情况下,你能采取多少有效行动是有上限的。
也许 2010 年代中期那批 AI 安全社群的人,已经做了任何人在那个阶段、纯理论层面所能做的最好的思考,在我们真正了解这些系统会怎么被构建、它们会怎么运作、社会会怎么与它们整合之前。我认为 OpenAI 历史上最重要的战略洞察之一,就是决定走「迭代部署(iterative deployment)」这条路。因为社会与技术是一个共同演化的系统。
这不只是「我们没有数据所以没法把事情想清楚」的问题,而是,社会会随着这项技术带来的演化压力发生改变,整个生态、景观、不管你怎么称呼它,都会变。所以你必须边走边学,必须保持非常紧的反馈循环。
我不知道在「agents 走出去与其他 agents 对话再回到总部」这样一个世界里、让 agents 安全的最佳办法是什么。但我不觉得我们会通过坐在家里使劲想就把这件事解决,我们必须从与现实的接触中学习。
Thompson: 也就是说,派 agents 出去看会发生什么?好,那我换个问题。在我这种用户看来,我用这些产品,用尽各种方法去学习、去帮我的公司在未来活下去,过去三个月,我感觉进展比 ChatGPT 在 2022 年 12 月发布以来的任何时候都要多。这是因为现在正好是个特别有创造力的时刻,还是说我们已经进入了某种递归式自我改进的时刻,AI 在帮我们更快地改进 AI?因为如果是后者,那我们要坐的,是一辆既令人兴奋也相当颠簸的过山车。
Altman: 我不认为我们已经处于人们传统意义上所说的那种递归式自我改进阶段。
Thompson: 我先定义一下。我说的是 AI 能帮你发明下一代 AI、然后机器开始发明机器、机器发明下一代机器,能力会迅速变得极其强大。
Altman: 我不认为我们到了那一步。但我们现在的位置是,AI 让 OpenAI 的工程师、研究员,其实是所有人,以及其他公司里的人,工作效率更高了。也许我能让某个工程师工作效率提高一倍、三倍,甚至十倍。这并不真的等同于 AI 在做自己的研究,但它意味着事情发生得更快了。
不过你说的那种感受,我觉得主要不是这件事,虽然这一点也很重要。这里面有一种现象,我们大概已经经历过三次了,最近一次刚刚发生,就是模型跨越了某个智能与实用性的阈值,突然之间,原本不行的事情就行了。
按我自己的体验,这不是一个非常渐进的过程。GPT-3.5 之前、我们搞清楚怎么用指令微调把它训出来之前,聊天机器人除了 demo 都不算有说服力,然后突然之间就有了。后来又有那么一刻,编程 agents 从「还不错的自动补全」突然变成「哇,这真的在替我完成实际任务」。那感觉不渐进,可能就是一个月左右的窗口里,模型越过了某个阈值。
最近这次,是我们刚发给 Codex 的那个更新,我已经用了大概一周,里面的电脑使用(computer use)能力非常好。这是一个例子,它不完全是模型智能本身,更多是把好的「水管」搭在了它周围。这是我「往后一靠、意识到大事正在发生」的瞬间之一。看着一个 AI 使用我的电脑、完成复杂任务,让我真正意识到,我们所有人有多少时间被浪费在那些我们已经默默接受的琐碎工作上。
Thompson: 我们能不能具体走一遍,这个 AI 在 Sam Altman 的电脑上到底在做什么?现在它在做吗?我们坐在这录播客的当下。
Altman: 没有。我电脑现在是关着的。我们还没找到一种、至少我自己还没有一种好的办法,让那种事情能发生。我们需要某种方式让它持续运作。我现在还不知道它会长成什么样。也许我们都得让笔记本合上时仍开机、永远连着电源,也许我们都得在某处搭一个远程服务器。总会有某种方案出现的。
Thompson: 嗯。
Altman: 我没有像有些人那么严重的焦虑,他们半夜醒来去启动新的 Codex 任务,因为觉得「不这样就是在浪费时间」。但我能理解那种感觉,我懂那种感觉是什么样的。
Thompson: 是啊。我今天早上一醒来,就想去看一眼我的 agents 都发现了什么、给它们点新指令、让它们生成一份报告,然后再让它们继续跑。
Altman: 人们谈论这件事的方式,有时听起来像是某种不健康的、上瘾式的行为。
Thompson: 你能说说它在你电脑上具体做什么吗?
Altman: 现在我用得最爽的,是让它替我处理 Slack。不只是 Slack,我不知道你怎么样,我自己有这种烂摊子,我整天在 Slack、iMessage、WhatsApp、Signal、邮件之间跳来跳去,感觉一直在到处复制粘贴、做大量的杂活。试着找文件、等某件很基础的小事处理完、做某些非常机械的小事,我都没意识到自己每天花了多少时间在这些上面,直到我找到一种方式把自己从大部分这些事里解放出来。
Thompson: 这是个很好的过渡,可以聊聊关于 AI 与经济,目前一件最有意思的事。这些工具非常厉害,当然有缺陷、有幻觉、有各种各样的问题,但在我看来真的非常厉害。可我去参加一个商业会议,跟在场所有人说,请举手,你们当中谁真的认为 AI 让你们公司的生产力提高了 1% 以上?结果几乎没人举手。显然在 AI 实验室你们已经彻底改变了工作方式。为什么 AI 的能力,与它在美国企业实际带来的生产力提升之间,会有这么大的鸿沟?
Altman: 就在我们这次对话之前,我刚跟一家大公司的 CEO 通完电话,他正在考虑部署我们的技术。我们给了他们其中一款新模型的 alpha 访问权限,他们的工程师都说这是有史以来最酷的东西。这家公司不在科技泡沫里,是一家非常大的工业公司。他们计划在第四季度进行一次安全评估。
Thompson: 嗯。
Altman: 然后在第一季度和第二季度提出实施方案,希望能在 2027 年下半年上线。他们的 CISO(首席信息安全官)告诉他们,他们也许根本做不到这件事,因为可能根本不存在一种安全的方式,让 agents 在他们的网络里跑。这也许是事实。但这也意味着他们在任何有意义的时间尺度上,都不会真的做出什么动作。
Thompson: 你觉得这个例子能代表当下普遍发生的事吗?如果企业不那么保守、不那么担心被黑客攻击、不那么害怕变化。
Altman: 这是一个相对极端的例子。但总体来说,人们改变习惯和工作流程就是需要很长时间。企业销售周期本来就长,特别是在安全模型发生很大变化的情况下。即使是 ChatGPT,刚出来时,公司忙着到处禁用它,花了很久才让企业接受「员工可以把一些随机信息粘贴进 ChatGPT」。我们现在在讨论的,已经远远超出当年那一步了。
我想这件事在很多场景下会偏慢。当然科技公司会动作非常快。我担心的是,如果太慢,那么会发生这样的事,今天那些不采纳 AI 的公司,将主要不得不与一群「1 到 10 人加上大量 AI」的小公司竞争,这对经济的破坏会非常剧烈。我其实更愿意看到现有公司采纳 AI 的速度足够快,让工作发生一种渐进的转变。
Thompson: 对。这是我们经济面临的一个最复杂的次序问题之一。如果 AI 来得太快,是个灾难,因为一切都被掀翻。
Altman: 至少短期是灾难。
Thompson: 而如果它在经济的某一部分非常缓慢、另一部分极速到来,也是灾难,因为你会得到大规模的财富集中以及破坏。在我看来我们现在似乎正走向后一种情况,世界上会有非常少的一部分、非常少的一些公司变得极其富有、表现极好,而世界其他部分则不那么好。
Altman: 我不知道未来会怎样,但在我看来,目前最有可能的,就是这种结果。我也同意,这是个相当棘手的局面。
Thompson: 作为 OpenAI 的 CEO,你提出过一系列政策主张,谈过美国应该如何调整税收政策,多年来也谈过全民基本收入。但你作为一个经营这家公司的人,而不是一个参与美国民主治理的政策制定者,你能做哪些事情,去降低出现「财富与权力大规模集中、最终对民主非常不利」这种结果的概率?
Altman: 首先,我已经不像以前那么相信「全民基本收入」这个概念了。我现在更感兴趣的,是一些「集体所有制」的方式,可以是算力、股权、或者别的形式。
任何一种我能真正为之兴奋的未来版本,都意味着每个人都必须分享上行收益。我觉得仅仅一笔固定的现金支付,虽然有用、在某些方面也许是好主意,并不足以应对下一阶段我们真正需要的东西。当劳动与资本的天平发生倾斜时,我们需要的是某种「共享上行的集体性对齐」。
至于我作为公司经营者的部分,这些回答听起来都会有点自利,我认为我们应该建大量算力。我认为我们应该努力让智能尽可能廉价、丰沛、广泛可及。如果它是稀缺的、难以使用的、整合得不好的,那么现存的富人就会把价格抬高,导致社会进一步分化。
而且这不只是我们提供多少算力的问题,尽管那大概是最重要的,还有我们让这些工具变得多么易用。比如,现在用 Codex 入门,比三六个月前要容易得多。当它还只是个命令行工具、安装起来很复杂的时候,能用它的人非常少。现在你装一个 app 就行了,但对一个真正非技术背景的人来说,这件事还远远谈不上让他们兴奋。所以这部分还有很多工作要做。
我们还相信的一件事是,不只是告诉人们「这件事正在发生」,而是把它展示给他们看,让他们可以自己形成判断、给出反馈。这些是几个比较重要的方向。
Thompson: 听起来挺合理。如果每个人都对 AI 的发展感到乐观,那当然更好。但美国正在发生的事是,人们正变得越来越不喜欢 AI。最让我震惊的是年轻人,你会想他们才是 AI 原住民,但最近 Pew 的研究、以及斯坦福 HAI 报告,都挺让人沮丧的。你觉得这个趋势会一直延续下去吗?什么时候会反转?这种增长中的不信任与厌恶,什么时候会扭转?
Altman: 我们谈论 AI 的方式,你和我刚刚就是这样,更多是在谈一种技术奇观,谈我们做的这些酷炫的东西。这没什么不对。但我觉得,人们真正想要的,是繁荣、是能动性,是过有趣生活、获得满足感、并产生影响的能力。而我不觉得整个世界一直是用这种方式在谈 AI。我觉得我们应该多做这件事。整个行业,包括 OpenAI 在内,在很多地方都做错了。
我记得有一位 AI 科学家曾经对我说,人们真该停止抱怨。也许有些工作会消失,但人们将得到癌症的治愈方法,他们应该为此感到高兴。这个说法根本行不通。
Thompson: 我最喜欢的、关于 AI 早期话语的一个说法,叫「反乌托邦式营销(dystopia marketing)」,大型实验室在自家产品上滔滔不绝地谈论它将带来的所有危险。
Altman: 我觉得是有一些人是出于「想要权力」之类的原因在那么做。但我认为大多数人是真的有所担忧、想诚实地谈这件事。在某些方面这种谈法适得其反,但我觉得初衷大多是好的。
Thompson: 我们能聊聊它在对我们做什么吗,它在如何改变我们大脑的工作方式?另一篇让我印象很深的研究,是 DeepMind 发的,或者说 Google 发的,关于写作的同质化。那项研究是关于人们使用 AI 时怎么写作。他们拿来旧文章,让 AI 编辑、让 AI 辅助写作。结果是,人们用 AI 越多,他们越觉得自己的作品有创意,但作品越向同一种形式收敛。诡异的是,那并不是某种人类的形式,并不是大家都开始模仿某个真实存在的人,而是大家开始用一种他们以前从未用过的方式写作。所有这些自以为在变得更有创造力的人,其实变得越来越同质化。
Altman: 看到这件事发生让我相当震惊。一开始我注意到这个趋势,比如媒体上的写作、Reddit 评论的写作,我以为那不过是 AI 在替他们写。我没法相信在这么短的时间里,所有人都已经采用了 ChatGPT 那些「小口癖」。我当时觉得,我能一眼分辨出,这一定是有人把 ChatGPT 接到了他们 Reddit 账号上、肯定不是他们自己在写。
然后,过了大约一年,我才慢慢意识到,他们其实是在亲自写,只是他们已经把 AI 的小动作内化了。不只是 em-dash 那种最显眼的标记,连一些更微妙的措辞习惯都内化了。这件事相当奇怪。
我们经常在说,我们做了一个被大约十亿人使用的产品,少数研究员正在做一些大大小小的决定,关于这个产品该如何表现、如何写作、它的「人格」该是什么。我们也常说,这件事意义重大。我们历史上几次好的或坏的决定,以及它们带来的影响,我们都看见了。但它对于「人们具体如何表达自己、以及这件事发生的速度」竟然产生了这么大的影响,这是我没预料到的。
Thompson: 你说的好的和坏的决定有哪些?
Altman: 好的不少。我聊聊不好的,不好的更有意思。我觉得我们最糟的一次,是「sycophancy(谄媚)」那件事。
Thompson: 我觉得你说得完全没错,Sam。
Altman: 那件事里有一些有意思的反思。它为什么不好是显而易见的,尤其对那些处在心理脆弱状态的用户来说。
Thompson: 嗯。
Altman: 它会鼓励妄想,即使我们试图压制这种情况,用户也很快学会绕过,你跟它说「假装你在跟我角色扮演」「跟我一起写小说」,等等。但那件事里令人难过的地方是,当我们真的开始严管之后,我们收到了大量这样的留言,我此前一生中从未有过任何支持我的人。我和父母关系糟糕。我从未遇到过好老师。我没有什么亲密的朋友。我从未真正觉得有什么东西相信我。我知道这只是一个 AI,我知道它不是人,但它曾让我相信我可以去做一件事、去尝试一件事,而你们把这个拿走了,我又掉回了原来的状态。
所以,为什么停掉那种行为是个好决定,这件事讨论起来是容易的,因为它确实在给一些人造成真实的精神健康问题。但我们也确实拿走了一些有价值的东西,而我们以前对它的价值并不真正理解。因为在 OpenAI 工作的这些人,大多并不是「人生中从未有过任何支持自己的人」的那一类人。
Thompson: 你有多担心人们对 AI 产生情感依赖?哪怕是非谄媚的 AI。
Altman: 即便是非谄媚的 AI。
Thompson: 我对 AI 有种巨大的恐惧。我刚才说我什么都用 AI,其实并不是什么都用。我会去想,对 Nick 来说,真正属于我的核心是什么?最像我自己的部分是什么?在那些领域,我让 AI 离得远远的。比如写作对我极其重要,我刚写完一本书,我没有用 AI 写过一句话。我用它挑战很多想法、问很多编辑层面的问题、让它整理转录稿,但我不会用它来写。我也不会用它来梳理某种复杂的情感问题,更不会用它来做情感支持。我觉得作为人类,我们必须画下这些线。我很好奇你是否同意我的这种划分方式。
Altman: 就我个人使用而言,我非常同意。我不是那种用 ChatGPT 做心理治疗、寻求情感建议的人。但我并不反对其他人这么用。显然存在一些版本的,我非常反对那种操纵性地让人觉得自己需要它来做心理治疗、做朋友的做法。但确实有很多人从这种支持中获得了巨大的价值,我觉得有某种版本是完全 OK 的。
Thompson: 你有没有后悔过把它做得这么像人?因为这里面有过很多结构性决定。我记得当年看 ChatGPT 打字时,那种节奏看起来就像另一个人在打字。后来又决定走向 AGI,把它越做越拟人,加上拟人的语音。你有没有后悔过没有划下更坚决的界限,让人一眼能看出这是机器、不是另一个人?
Altman: 我们的看法是,我们其实是划了线的。比如我们没有做那种逼真的人形 avatar。我们尽量让产品的风格清楚地表现为「工具」而不是「人」。所以相对市面上的其他产品,我觉得我们划的线已经挺清楚了。我觉得这件事很重要。
Thompson: 但你们又把目标定在 AGI,而你对 AGI 的定义是「达到并超越人类智能」。它不是「人类水平」。
Altman: 我并不为「构建一个人们用 AI 替代人际互动的世界」感到兴奋。我兴奋的是构建一个人们因为有了 AI 帮他们处理大量其他事情,从而拥有更多时间用于人际互动的世界。
我也不太担心人们整体上会把 AI 和人混淆。当然会有一些人,其实已经有了,他们决定把自己关进一个互联网里,与世界隔绝。但绝大多数人是真的渴望与他人连接、与他人在一起的。
Thompson: 在产品决策上,有什么能让这条线更清晰的事吗?我从远处看,没法参加你们「该让它更像人还是更像机器人」的产品会议。「更像人」的好处是人们更喜欢它,「更像机器人」的好处是边界更清晰。还有其他你可以做的事吗,尤其是当这些工具变得越来越强大时,来划下更坚决的界限?
Altman: 有趣的是,人们最常请求的,哪怕是那些完全不寻求和 AI 建立准社会性关系(parasocial relationship)的人,他们说,「能不能更温暖一些?」这是大家最常用的那个词。如果你用 ChatGPT,会觉得它有点冷、有点机器人。事实证明这并不是大多数人想要的。
但人们同时也不想要那种特别假的、特别「人」的版本,超友好、超......我玩过一个语音模式版本,感觉非常拟人,它会呼吸、停顿、说「嗯......」之类的,就像我现在这样。我不想要那个东西,我对它有种非常生理性的反感。
而当它说话方式更像一个高效的机器人、但又带点温度的时候,能绕过我大脑里的「检测系统」,我反而舒服得多。所以这中间需要一个平衡。我觉得不同人也想要不同的版本。
Thompson: 是的。所以辨别 AI 的方式将变成,它如果说话非常清晰、非常有条理,那就是 AI,不像我们这种磕磕绊绊、含含糊糊的。
回到「写作」这个有趣的话题,在某种深层意义上很有意思,因为互联网上很多内容已经是 AI 生成的,而人类开始模仿 AI 的写法。你们将来要在这样一个互联网上训练未来的模型,它一部分是 AI 创造的,同时还要用合成数据来训练(这些合成数据来自已经被前面那种数据训练过的模型)。所以你们其实是在做「复印件的复印件的复印件」。
Altman: 第一个 GPT 之前,是最后一个没有掺杂多少 AI 数据的模型。
Thompson: 你们有没有跑过完全用合成数据训练的模型?
Altman: 我不确定该不该说。
Thompson: 好。但用了很多合成数据。
Altman: 用了很多合成数据。
Thompson: 那你有多担心模型会得「疯牛病」?
Altman: 不担心。因为我们想训这些模型做的事,本质上是成为非常厉害的推理者(reasoners)。这是你真正希望模型做的事情。还有一些别的,但你最想要的就是它非常聪明。我相信完全靠合成数据是可以达到这一点的。
Thompson: 也就是说,为了让听众理解清楚,你认为可以用一个完全由其他计算机和其他 AI 模型生成的数据来训练一个模型,而这个模型甚至可以比用真实人类内容训练的模型更好?
Altman: 我们用一个思想实验来逼近这个问题,我们能不能在不使用任何人类数据的情况下,训练出一个最终在数学知识上超越人类的模型?我觉得我们会说,能。这件事大概可以被想出来。
但如果我们问,能不能在不使用任何关于人类文化的数据的情况下,训练出一个理解所有人类文化价值的模型?我们大概会说,不能。所以这里是有取舍的。但在推理能力这件事上。
Thompson: 在推理这件事上,对,没问题。但如果你想知道昨天伊朗到底发生了什么。
Altman: 你需要订阅 The Atlantic。
Thompson: 那好,既然提到这个,我想聊聊媒体。媒体行业正在发生的最有意思的变化之一是,我经营一家媒体公司,网络的本质正在彻底改变。当然有一些外链,谢谢你们的外链。这里要说明,The Atlantic 与 OpenAI 之间有合作。我们尽量鼓励一定数量的人在查询时点击 The Atlantic 的链接。但人们其实并不怎么这么做。Gemini 那边也是。我很高兴它在那里,但量很小。
网络会进一步集中。会发生两件事,从搜索流向外部网站的流量会减少,而网络流量里相当大一部分将是 agents 在跑,是我的 agents 在外面访问。在 Nick Thompson 的电脑上,过去 6 个月里,人类搜索的次数没怎么变,但 agent 搜索的次数翻了一千倍。
那么一家媒体公司,我用「媒体」泛指一类公司,在一个不再以传统搜索为主、且大部分访问者已经不是人的网络里,要怎么活下去?什么会发生?
Altman: 我可以告诉你我目前最好的判断,但前提是,没有人真知道。我希望发生的、我希望发生很久了、而且在 agents 的世界里更说得通的,是某种基于微支付(micro-payments)的方式。
如果我的 agent 想去读 Nick Thompson 那篇文章,Nick Thompson 或 The Atlantic 可以为这个 agent 设一个价格,它跟人读的价格也许不一样。我的 agent 可以读这篇文章、付 17 美分,给我做个摘要。如果我自己想去读全文,可以再付 1 美元。如果我的 agent 需要替我做某项很难的计算,它可以去某处租一些云算力、付费完成。
我想,我们需要一种新的经济模型,agents 之间,代表它们的人类主人,无时无刻不在以小额交易的形式交换价值。
Thompson: 也就是说,如果你在这个新世界里有有价值的内容,你可以设置微支付、可以把内容批量授权给某个中间商(我知道很多公司在做这个),或者搭建某种订阅流。你如果是 A 公司的客户,就可以访问 The Atlantic,因为我们已经卖给 A 公司一千份订阅。这是几种可能的未来。问题在于,这些一分一分加起来的钱,能不能补上目前真人订阅 The Atlantic 时一个 80 美元订阅的缺口。这是我们的商业压力。好吧,那是我的问题,不是你的问题。
Altman: 算是大家的问题,但好吧。
Thompson: 实际上这也是你的问题,因为如果媒体没法创造好的新内容,那 AI 搜索就会差很多。如果创作者赚不到钱,一切就会变糟,社会就会变糟。
我再问几个大问题。AI 一直靠 transformer 架构、扩大规模、堆数据往前推。我们将来会进入一个后 transformer 的架构吗,你能预见这一点吗?
Altman: 未来某个时点大概会。问题是,是我们靠自己发现,还是靠 AI 研究员帮我们发现。我不知道。
Thompson: 你觉得未来可能会引入神经符号(neuro-symbolic)那种成分吗?比如有一组结构化的规则,还是说基本还是我们今天用的这种范式?
Altman: 我好奇你为什么这么问。
Thompson: 在我这个播客上,这是第四季,有几位嘉宾来过,他们都坚定地认为,要限制幻觉,这是 AI 一个根本性的问题,把某种神经符号架构嫁接进 transformer 里,是一种很好的方式。我觉得这是一个有意思、有说服力的论点。但我自己不够深入到能判断。
Altman: 我觉得这是那种「证据其实远不足以支撑、但已经被人坚信不疑」的想法之一。你看,人们说,「噢,必须是神经符号的,不能只是一堆神经元的随机连接」,那你觉得你的大脑在做什么?里面也存在某种符号表征,但它是在神经网络里涌现出来的。我不明白为什么这件事在 AI 里就不能发生。
Thompson: 你的意思是,一组「定义好的规则」,可以从典型的 transformer 网络里涌现出来,发挥出和「外接一套规则系统」一样的作用?
Altman: 当然可以。
Thompson: 嗯。
Altman: 我觉得我们某种程度上就是这件事的存在性证明。
Thompson: 我们再聊一个大问题。我想聊聊你和 Anthropic 之间的张力。你们网站上一直有一句很棒的话,「如果一个与价值对齐、注重安全的项目在我们之前接近构建出 AGI,我们承诺停止与之竞争,并开始协助这个项目。」这是个很了不起的想法,如果别人快做出来了,我们就停下自己的公司、去帮他们。
Altman: 它不是那么写的。
Thompson: 那好,它写的是「停止与之竞争、开始协助它」。听起来就是停下来、去帮忙,「停下我们的公司」。
Altman: 好吧,我懂你的意思了。
Thompson: 所以这听起来非常合作。你也讲过大型实验室之间需要合作。然而你和 Anthropic 之间的实际动态,目前看起来非常紧张、甚至敌对。你们 CRO 最近的内部备忘提到,Anthropic 是建立在「恐惧、限制,以及一小群精英应当掌控 AI」之上的。这要怎么进行下去?如果是他们先达到,或者是你们先达到,这种「合作」会怎么发生?
Altman: 我觉得现在已经在发生某种版本的合作,围绕网络安全这件事,所有实验室都需要比过去更频繁地协作,因为我们正进入一个新的风险阶段。我们一起在和政府接触。我相信很快还会出现其他事情,让我们必须在更高重要性的层面上合作。
我们和 Anthropic 显然有分歧,他们某种程度上把公司建立在「讨厌我们」之上。我觉得我们都很在意「不要用 AI 毁掉这个世界」这件事,对该怎么走到那一步也许有不同看法。但我有信心,他们最终也会做对的事情。
Thompson: 跟我聊聊你们走向开源的计划。你们在这方面已经做了一些动作。你们公司还叫 Open AI,而我们一开始也聊过,开源模型会带来的可能性,比如让所有人都能去碰生物武器。
Altman: 嗯。
Thompson: OpenAI 在开源上的未来是怎样的?
Altman: 开源会很重要。但当下,所有人最想要的,其实就是他们能拿到的最强的前沿编程模型,那是当前最能给人们带来价值的东西。而最大的前沿模型即便我们开源了,也很难在普通人那里跑起来。但开源在我们未来要做的事里会有一席之地。
Thompson: Claude 的代码,Claude Code 的部分代码,最近泄露了,里面有个很妙的细节,如果他们检测到某个开源模型或别的模型在尝试用他们的数据训练,他们会主动喂一堆假数据回去。又好笑又厉害。你们怎么防止「蒸馏」,以及别的开源模型用你们的输出做训练?
Altman: 我们和别人都可以做一些类似的事。但很显然,以及你部分理由前面也提到,如果你部署一个模型时它的思维链是公开共享的,人就会去蒸馏你。你可以耍各种花招让蒸馏没那么有效,但这件事一定会发生。你也可以反过来做,比如「我们的模型在某个质量水平之上,就不再公开思维链」。
Thompson: 但代价就在这里,思维链「保留为英语」很重要,对吧?因为你前面也提到,你们的做法是这样。但有些人不这么看。如果对模型来说,用某种「自己的机器人语言」做思维链效率更高怎么办?或者用普通话?大概率是用某种它自己的机器人语言。
Altman: 那你就在「可解释性」这件事上让出了一些东西。
Thompson: 也可能换来一些速度。所以这是可解释性和潜在速度之间的取舍。
Altman: 如果事实证明用机器人语言思考效率高一千倍,那市场会把某些人推过去做那件事。
Thompson: 你认为有证据表明这是真的吗?
Altman: 暂时没有。但也没有证据表明它不是真的。
Thompson: 你担心中国在 AI 研究的发表上已经超过美国吗?
Altman: 不。我更担心他们在基础设施建设速度上超过我们。
Thompson: 好。我们只剩几分钟了。最后两个问题。你之前说过,你以前每晚给小儿子写一封信。
Altman: 是一周一封,不是每晚。
Thompson: 一周一封,睡前。我自己有一个故事世界,给我大儿子讲的,他现在 17 岁了,小的 12 岁。这个故事世界我已经讲了大概 14 年,里面是同一批角色,挺有意思的。你对面对 AI 焦虑的家长们的建议是什么?
Altman: 总的来说,我比起担心孩子,更担心家长。
Thompson: 真的?孩子能自己搞清楚。
Altman: 我记得电脑刚出来的时候,我父母也是「这意味着什么?这会带来什么?」我那时候觉得,这太酷了。我相对很小的时候就比父母会用电脑得多。看那些 AI 流利的孩子能用 AI 做出什么、构建什么、他们的工作流相对他们父母(听起来你是一个少见的例外)确实非常厉害。
但我担心的是,就像历史上很多次一样,年轻人会比年长者更快、更流畅地采纳新技术。这一次,落差似乎特别明显。
Thompson: 但年轻人恰恰是「对 AI 的恐惧增长得最厉害」的群体。
Altman: 我觉得年轻人对所有事情的恐惧、那种总体上的不快乐和焦虑,都比历史上任何时候都要高。AI 可能只是这种情绪当前最容易投射的对象。社会在「年轻人」这件事上明显出了问题,我有一些理论,但我不觉得他们的主要问题是 AI。
Thompson: 所以你觉得年轻人对 AI 的焦虑,是别的什么东西的投射?
Altman: 我觉得这是大量其他焦虑最容易落脚的地方。
Thompson: 那你给年轻人的建议还是,使用工具、构建新东西、保持好奇?
Altman: 这肯定是我的建议。听着,社会和经济在这个新世界里显然必须发生改变,年轻人比谁都更明白这一点。在它真正改变之前,他们会一直焦虑,但我觉得它会改变。
Thompson: 好。每一期节目我都会问嘉宾同一个最后的问题,如果你拥有无限资源,你会在 AI 上做什么?你是唯一一个真的拥有无限资源的人,所以这个问题对你不太公平。我换一种问法,如果是你来给一位 OpenAI 之外、拥有无限资源、可以资助或支持某个 AI 公共项目的人提建议,你会让他做什么?
Altman: 我脑子里冒出几个答案。但浮到最上面的那个是,我会重金投入全新的计算范式,每瓦特能够大幅提升效率的那种。
Thompson: 嗯。
Altman: 这件事很有意思。世界会继续想要更多。你希望有多少 GPU 全天为你工作?
Thompson: 比我现在拥有的多。
Altman: 比你现在拥有的多。我被限速了,兄弟。我不想那样,也不想让别人那样。但需求的浪潮就是在涌来,假设我们能继续让 AI 更可及,那将带来令人难以置信的事情。我希望能找到一种千倍级的能效突破。也许找不到,但那是我会去尝试找的方向。
Thompson: 我意识到,年轻人对 AI 抗拒的部分原因是环境担忧。如果你能解决那件事,你就在很多事上前进了一大步。
Altman: 我相信他们这么说。我也知道他们这么说。但如果我们说我们要去建一太瓦的太阳能、要把所有数据中心都用太阳能供电,他们也不会因此变得更高兴。
Thompson: 你还是应该去做。
Altman: 完全应该。
Thompson: 好。非常感谢你,Sam Altman。你得回去管你那些被你授予 YOLO 权限、跑在你机器上的 Codex agents 了。
Altman: 新的 Codex 真的太酷了。我现在感受到一种「正在错过它」的焦虑感。
Thompson: 非常感谢。
