编者按:Anthropic CEO 阿莫代当下在非常尴尬的位置。一方面手拥世界第一的 AI 模型,一方面不小心被美国 zf 一纸禁令导致了全球下线,甚至连团队内的非美国人都无法使用。
这个事情如何收场还不得而知,据说阿莫代在继续努力中,各位可以继续吃瓜关注。但我们可以从这次最新的 Emily 访谈里一窥这位充满了争议的 AI Coding 第一厂掌舵者的思路。
一个在当今硅谷的权力版图中,Anthropic 处于一个极度特殊且充满张力的中心位置。作为 OpenAI 最强有力的挑战者,它由一群因价值观分歧而选择「出走」的顶尖研究者创立。
当 CEO 阿莫代坐在聚光灯下谈论 AI 的指数级增长时,他展现出一种罕见的、外科医生般的冷静。这不仅是一场关于技术的竞争,更是一场关于信任、安全以及人类文明在面对智力爆发时如何自处的深度博弈。
全文摘要
本次最新访谈深入探讨了 Anthropic CEO 阿莫代在面对 AI 指数级增长时的心路历程,涵盖了从离开 OpenAI 的内幕、公司的商业模式选择,到 AI 对就业市场、网络安全以及地缘政治的深远影响。
CEO 详细阐述了 Anthropic 如何通过建立「长期利益信托」等机制来制衡权力,并在追求技术领先的同时,通过设立「红线」和推迟发布高风险模型(如 Mythos)来践行其安全价值观。
注,阿莫代的言论一直对东方大国不甚友好,各位自行鉴别。
核心观点
· AI 行业正处于一种「平稳的指数级增长」中,这种增长在量变积累到一定程度后会产生质的爆发感。
· 信任是 AI 行业合作的基石,Anthropic 主张值得信赖的参与者应联合起来建立行业标准。
· 企业级商业模式与 AI 安全价值观更具协同性,能避免消费级市场中常见的成瘾性和低质量内容竞争。
· 对于 AI 引发的失业风险,社会需要预见并制定宏观经济政策,同时寻求「用相同资源做更多事」的正和博弈。
· 军事应用必须坚持「人类在回路中」的原则,严守大规模监视和全自主武器的红线。
以下为完整访谈:
指数级增长的压力与体验
艾米丽·张:你睡眠时间有多少?
达里奥·阿莫代:我一直都不是那种睡眠质量很好的人。只能说,我正在学习如何在非同寻常的压力时刻放松并入睡的艺术。
艾米丽·张:一切发展得实在太快了。身处其中是什么感觉?
达里奥·阿莫代:那是一种指数级的感觉。就像是,假设你乘坐宇宙飞船以相对论速度远离地球加速。狭义相对论的运作方式是,当你睡一觉醒来,地球上已经过去了两天。因此你必须在一天之内处理两天的事情。
然后你再去睡觉,因为你持续加速,地球上已经过去了三天。随后第二天,四天过去了。那种感觉差不多就是这样。
艾米丽·张:你是否经常因为担心醒来后会面对什么而感到焦虑不安?
达里奥·阿莫代:我们需要处理的、清晰且紧迫的问题已经足够多了,我在处理这些问题的同时,也在思考我们该如何做好准备。但我认为偏执或担心自己醒来后会面对什么并无益处。我研究过历史上那些处理过此类高压局面的人。你需要学会理性应对,不要将各种危险的程度相提并论。
这种在「我不担心」和「天哪,我们今天必须恐慌」之间反复横跳的状态,我认为是决策不成熟的标志。而真正成熟的决策是,你不能无视这一点,我们也不能掉以轻心。
事实上,这正变得风险越来越大,但我们必须理性应对,就像外科医生处理手术那样。或者,就像军官处理军事行动一样,又或者,任何做出影响众多人决策的人,都必须理性地做出这些决定。而且他们必须理解其中的风险,但他们也必须保持基本的冷静。
所以我儿子昨天问他能不能用我的 Claude 账号,我说绝对不行,我需要我的 tokens。我们在消费级市场也越来越多地看到这些应用,我们原本希望更多地成为一家企业级公司,但即使我们没投入那么多精力,消费级业务也开始快速增长。
艾米丽·张:你现在正处于 AI 宇宙的中心,这种感觉如何?
达里奥·阿莫代:有趣的是,在我整个职业生涯中,尤其是加入 Anthropic 以来的这段时间,我所经历的是一种平稳的指数级增长。
这种平稳指数增长的体验就是:什么都没发生,什么都没发生,什么都没发生,发生了一些小事,然后突然之间,它就疯狂地爆发了。这就是这个世界的体验。这也是公司规模相较于其他公司以及相较于这个世界的体验。
所以我盯着这个图表看了很久,然后我说,我们很可能会在大约这个时候,成为营收最高且估值最高的 AI 公司。确实如此,确实发生了。发生了。所以从某种意义上讲,我并不感到惊讶,因为图表上的曲线非常平滑。
但当然,从另一个角度来看,当事情真正发生时,你会看到更多、更丰富的细节和色彩。而且,这绝对是令人惊讶的。
我们始终铭记着我们通常关注的那些问题,即我们该如何训练出优秀的模型?我们该如何将它们应用到优秀的产品中?我们该如何确保一切都是安全的?我们该如何在帮助人们的同时,管控围绕这项技术产生的社会风险?这一切都是同样的问题,只是在更大的显微镜下进行审视而已。
成长背景与硅谷精神
艾米丽·张:你在 San Francisco 长大时是个什么样的孩子?我知道你父亲曾是一名皮革工匠,你母亲在图书馆工作,这对你产生了怎样的影响?
达里奥·阿莫代:那时候整个互联网革命正发生在我身边,但我对此毫无兴趣。我只对研究数学和像写写画画这类事情感兴趣。我对探索宇宙很感兴趣。我对科幻小说很感兴趣。总的来说,那是我当时所处的环境。我想我只是对这个世界怀有强烈的好奇心。
艾米丽·张:你在一个被称为科技中心的地方长大。而现在它又是 AI 的中心。这个地方,这座城市,有什么因素塑造了你的世界观吗?
达里奥·阿莫代:有的。我认为那种不随大流、崇尚个人主义,以及认为「有点疯狂也没关系」的普遍精神,是存在的。我想其中很大一部分可能确实对我产生了潜移默化的影响。
你会听到一些故事,比如当你去欧洲某些国家,甚至这个国家的其他地区时,那种以不同方式思考问题的做法往往被抑制或被视为怪异,或者拥有一些疯狂的想法。
实际上我对 Silicon Valley 有很多批评,但我认为它有一点是好的,那就是它鼓励一种理念:即便所有专家都反对你,那也无所谓。如果你有一个连贯的愿景和连贯的世界观,你就应该去追求它,这才是最重要的。也许它根本行不通。
但如果行得通,它就具有某种长尾效应,在某些领域你或许可以深挖,并最终可能在那里发现一座巨大的金矿。我认为这种精神非常重要。
艾米丽·张:你、Daniela、你的妹妹,以及她的丈夫 Holden Karnovsky,在 2016 年时曾一起住在同一个合租房里。那时候你们在争论什么?
达里奥·阿莫代:我想那时候正是 Open Philanthropy 项目刚刚启动的时候,Holden 是该项目的负责人。当时我是一名生物科学家。所以我当时在帮他们处理一些关于发展中国家健康或生物学研究方面的事情。所以我,算是为那些课题提供了一些建议。比如,哪些领域是有前景的?哪些领域的前景没那么好?
离开 OpenAI 的核心分歧
艾米丽·张:你离开 OpenAI 的决定已经成为了 Silicon Valley 的传说。到底发生了什么?抛开那些叙事,本质的问题是什么?你们在哪些方面存在分歧?
达里奥·阿莫代:听着,我要说出来,我要说得非常简单明了。当你构建强大的技术时,会面临许多难题,Anthropic 每天也在经历这些。我们不知道自己做出的决定究竟是对还是错。
所以,在安全性问题上存在许多合理的争议。我们当然与他们有过一些分歧,但要知道,仅凭这一点并不足以成为离开的理由。这里的人曾与我有过分歧。这里的人彼此之间也有分歧。
但当你感到无法信任某人时,当你感到他们的价值观并非如其所言时,当你感到他们不够诚实时,当你感到他们并非出于宣称的原因而行事时,当你看到令人不安的行为模式或不诚实时,这会让你很难继续在公司工作,也很难继续信任这家公司。说到底,当你与某人没有共同愿景且不再信任对方时,何必再去争论呢?
解决的办法就是各奔前程,你去做你的事,他们去做他们的事。我完全坦然接受这一点:我们按自己的方式行事,他们则按他们的方式行事。我们将拭目以待谁能在市场上胜出,谁能在舆论法庭上胜出。我认为这些事实胜于雄辩,比任何关于谁离开、为什么离开的戏剧性揣测更有说服力。
我们要知道,我们正在为如何部署这项技术提供一个范例,我们认为这是一种负责任的方式。如果他们有异议,他们应该提出论据。我认为关于这件事无需多言。
行业合作与信任重建
艾米丽·张:在印度的 AI 峰会上,有一个瞬间,你和 Sam Altman 似乎拒绝在台上握手。当时发生了什么?
达里奥·阿莫代:当时的情况是,那场峰会组织得极其混乱。我们都在最后一刻才上台,他们临时改变了我们的站位顺序。然后他们给我们拍了张照片,接着命令我们所有人手拉手。如果你参加过这类峰会——我并不是针对印度说什么坏话——但这类所有有国家元首出席的国际峰会,组织起来都非常混乱。
艾米丽·张:但其他人都手拉手了。拜托。
达里奥·阿莫代:听着,我不知道该怎么跟你说,好吗?当时 Narendra Modi 就在上面,突然叫所有人手拉手。
艾米丽·张:行吧,行吧。
旁白你看,Sam 和 Elon 正在互相起诉。看来你不喜欢 Sam。
艾米丽·张:如果世界上最重要技术的开发者们都无法在舞台上手拉手,我们又怎能相信你们会在生存风险问题上展开合作呢?
达里奥·阿莫代:那么,这就是我想告诉你们的。在构建这项技术的人员中,其素质和可信度存在巨大的差异。我认为这意味着,不同的人,认为没有人信任彼此,我不认为这是正确的。
我认识构建 Gemini 模型的 Demis Hassabis,这些模型是 Claude 模型的竞争对手。我已经认识他们 15 年了。我们曾一起合作处理过许多问题。我们向 Google 购买计算资源。我们经常交流安全方面的想法。
所以,我的观点是,首先,有些参与者比其他人更值得信赖。而且,我认为在 Anthropic 之外也有我所信任的参与者,我认为他们是值得信赖的。我认为需要发生的是,值得信赖的参与者需要联合起来,去应对那些不值得信赖的参与者。使得参与者不得不采取相同的标准。
通过丰富的经验,我了解到有些人并不会自觉地做正确的事。但如果行业内的大多数人都在做正确的事,那么我认为行业中的其他人就别无选择,只能跟随潮流。这就像是一种积极的版本,你去激励其他人。
这就像 Demis 和我互相激励一样。他在做 AlphaFold。我们也在生物学领域尝试做一些事情,我们在做可解释性。他们开始了可解释性研究。这甚至算不上竞争。
这只是因为每家公司都在做一些很酷的事情。而其他公司会觉得,那很酷。我们也想尝试一下,看看能不能在其中做出一些新的东西。这就是顶级竞争中「胡萝卜」的一面。然后是「大棒」的一面,或者是隐性的「大棒」,即你意识到,这些人正在做正确的事。如果其他人不做正确的事,看起来就会很糟糕。
我们经常看到这样的行为:他们虽然勉强做了正确的事,却试图假装自己正在做不同的事情,并且暗示我们存在某种糟糕或邪恶的意图,这是可以预见的。但我认为,这就是我们整合行业并促进行业合作的方式。
商业模式:企业级与价值观的契合
艾米丽·张:早些时候,其他人专注于有趣、炫目的消费者应用程序。而你押注于编码和企业领域,Claude Code 大获成功,Claude Co-work 也大获成功。你当初为什么会下那个赌注?这是一个基于价值观的决定,还是基于商业的决定?
达里奥·阿莫代:当我们创立 Anthropic 时,最根本的事情,也就是始终重要的事情,是我们内心的愿望。我们希望以正确的方式去完成这件事。但你必须扪心自问,为了资助这些模型极其昂贵的创建过程,公司必须具备相应的商业模式。那么,商业模式会阻碍价值观的实现吗?
这个问题始终存在。但我从在其他公司任职以及观察其他公司的过程中学到的一点是:如果你选择的商业模式与你的价值观从根本上产生冲突,那你将会处境艰难。你要么会背弃自己的价值观,要么会被时代所淘汰。
你最终会陷入一种进退两难的困境;虽然有办法可以规避,但那依然是一个非常棘手局面。选择一种与你的价值观相兼容的商业模式要好得多。
所以当我们思考这个问题时,我们认为,你看,我们已经见识过社交媒体 and 消费领域的世界,它似乎确实在鼓励互动,甚至是成瘾。我们从 AI 视频模型中看到的那种粗制滥造的内容,其背后的逻辑是最大化你投入的注意力时长,因为这背后是由广告收入驱动的激励机制。
然而如果我们审视企业领域,你看,我们的初衷是希望这些模型能对人们有所助益。如果我想到所有可以用 AI 完成的积极事物,我经常提醒人们注意负面影响,但从根本上说,我们认为积极的一面终将胜过消极的一面。其中许多积极应用基本都归于企业应用这一范畴。
我们希望利用 AI 去治愈那些过去无法治愈的疾病,这需要与生物技术公司、制药公司以及学术研究机构展开合作。所有这些都是企业,我们希望利用 AI 让能源变得更廉价、更高效。这些全属于企业应用。
我们希望利用 AI 来助力教育事业。其中大部分属于企业级应用。我们希望利用 AI 来解决健康和发展中国家面临的问题。虽然它们是非营利组织,但本质上都属于企业范畴。我们希望促进经济增长。这基本上也属于企业层面的范畴。
此外我认为还有另一个因素,那就是企业非常看重信任和长期关系,消费级应用有时会带有一种噱手感,而在企业层面,重要的是建立一种合作关系,即你与一家公司合作多年,你说到做到,他们也说到做到,并且他们从根本上信任你。因此,这与我们以积极且安全的方式部署这些模型的目标是非常协同的。因此,我认为拥有这种与我们价值观高度契合的商业模式对我们很有利。
并非说有时不存在冲突,也并非说我们不需要做出艰难的选择,但我认为这类选择的数量要比其他情况下少得多。
竞争护城河与「SaaS 末日」
艾米丽·张:开发者可以在一个下午内就从 Claude 切换到 GPT 或 Gemini。在这个行业中,真的有可能保持长期的领先地位吗?而且,你认为一个认真的竞争对手需要多久才能复制出你们所构建的东西?
达里奥·阿莫代:模型质量才是最重要的事情。比如我们目前在模型质量上遥遥领先。虽然存在一定的惯性,但我从不依赖这一点,我从未依赖过,或者说 Anthropic 从未依赖过那种「产品粘性高、用户不会切换」的想法。
我认为你还是想要拥有一个更好的模型。你希望拥有更好的产品。而且,我们看到增长率根本没有出现转折,如果说有什么变化的话,它们反而上升了,至少在我们录制这次访谈时是这样。所以,我认为这是最重要的事情。
艾米丽·张:在 Claude Co-Work 发布后不久,2,850 亿美元的市场价值一夜之间蒸发,交易员们将其称为 SaaS 末日(SaaSpocalypse)。如果 AI 继续以这种速度改进,传统软件会有多少被取代,速度会有多快?
达里奥·阿莫代:所以,这属于那种很难提前预测的问题,如果你能完美地提前预测,那么人们早就做了,他们会在市场上赚取巨额财富,而且永远正确。
所以,没有人确切知道会发生什么,但我会指出几点,所有这些传统软件公司都有一些护城河。我认为将会发生的是,其中一些护城河会消失,但另一些会保留下来,快速编写软件的能力,我绝对认为这将会消失,如果你的护城河是「我们编写了这种没人能写出来的复杂软件」,那么,祝你好运。你将无法捍卫这一点。
但我认为人们拥有客户关系。人们拥有关于该领域如何运作的专业知识。人们拥有独特的领域知识。所以我给所有这些人的建议显然是,不要自满。不要忽视它。列出你所有的护城河,并非常清楚其中一些将会消失,而另一些则会变得相对更加重要,因为它们是限制性因素。并且也可能会有新的护城河出现。
我认为那些能够灵巧应对的人,能够依靠依然存在的护城河以及利用新的护城河的人,将会做得很好。我认为那些心满意足的人,他们只是在自欺欺人,认为过去有效的方法将来也会一直有效。他们将不会有好日子过。所以,这就是我会给出的建议。
而且,我认为归根结底,我猜——当然这取决于你如何定义 SaaS,以及你认为哪些不算 SaaS——但我猜测软件行业会变得更大,而不是更小,尽管其中会出现一些巨大的输家。
艾米丽·张:请解释一下。
达里奥·阿莫代:我只是认为蛋糕正在变得越来越大,比如,我认为有了 AI,这块蛋糕正在变得更大。现有的老牌企业在相对意义上可能会变小。其中一些企业的价值可能会下降。如果它们不能以正确的方式进行调整,其中一些甚至可能会倒闭。
但我认为当增长速度非常快时,你经常会看到这种情况,如果 AI 的可能性增长了 10 倍,那么现有的既有行业增长 1.5 倍是非常容易的,只是增长幅度没有整个大蛋糕增长得那么多而已。所以我认为这种情况可能会发生。
这并不是说我们不会看到一些巨大的输家。我认为那些不适应、掩耳盗铃、看不清未来趋势,以及无法识别自身护城河的人,将会面临非常艰难的处境。
算力、融资与合作伙伴
艾米丽·张:你最大的支持者是 Amazon、Google、Microsoft 和 NVIDIA 这样的公司。这些公司都有各自的议程。他们既是合作伙伴也是竞争对手。你们拥有与资金挂钩的巨大商业里程碑。到底是谁在真正做主?
达里奥·阿莫代:我们确实有过多次直言不讳地表达真实想法的情况。我一直非常明确地主张对向中国出口芯片实施管制,我之所以这么说,是因为我认为如果中国在 AI 能力上领先,这对美国以及全球进程来说将是非常糟糕的。而且,一些芯片制造商显然并不认同这种观点。但这并没有阻止我表达我的看法。
即便是在我们签署了更多合作协议之后,我现在依然在重申这一点。他们所了解的是,我们始终与他们保持合作。我们一直是良好的合作伙伴。我们是可以共事的。我确定他们希望我们不要说这些话,但这些确实是我坚信的内容。
你打算怎么做?他们最终还是会达成一致的。他们从这些交易中获得的收益与我们相当。你看,我们都是成年人了。我们可以在某件事上展开合作,同时在另一件事上保留分歧。
艾米丽·张 :Bloomberg 报道称,你们的估值甚至高于 OpenAI。我们谈论的是一家成立五年的初创公司,估值接近一万亿美元。你如何理解这一点?关于那个数字,以及既然你在计算资源方面更具纪律性且拥有更快的盈利路径,为什么还需要这么多钱?
达里奥·阿莫代:计算资源的扩容速度非常快,所以业务基本面看起来不错是事实,但一年后你的计算资源规模可能会达到现在的 3 倍或 4 倍——我不会给出确切数字,但这类计算资源的增长非常迅速。
我们完全有理由相信,收入的增长会达到并超过这些规模。而筹集资金正是应对这种不确定性范围的缓冲手段。
所以,这完全是一个理性的做法。这对业务造成的股权稀释非常小,从逻辑上讲,这两者完全不是一回事。事实上,它与对立面是兼容的,这并不意味着业务的基本面有什么问题。
艾米丽·张:有报道称服务器负载过重、存在可靠性问题,还有人抱怨 token 用完了。你说过其他公司在基础设施建设上正在孤注一掷。你真的拥有你所需要的东西吗,还是你在追赶进度?
达里奥·阿莫代:关于算力,其中一点是存在所谓的营销算力,所以,我的观点是,经过一段时间,甚至比几个月更长的时间,我们是可以获得大量算力的。这里值得一提的是,我不认为以任何合理的标准来看,我们购买的算力太少了。
所以,我们原计划算力每年增长 10 倍。
每年 10 倍是我们所预期的。但这并不是我们目前所见到的情况。在 2026 年第一季度,我们的季度营收增长超过了 3 倍,这仅仅是一个季度的数据,而非年化增长;季度内增长 3 倍,当然,3 的 4 次方意味着全年增长将达到 80 倍。
我们并未预料到会有 80 倍的年化增长。若以 80 倍年化增长为目标进行规划是不理性的,因为这意味着如果最终只实现 10 倍增长,你就相当于少了 8 倍。所以我们正处于一个局部极端的、算力爆炸的阶段。这种情况不会持续下去。
如果这种情况持续下去,到年底时你会获得一个地球上没有任何公司能够企及的营收数字。我不认为这种情况会发生。它只是,它确实不可能持续。
但你可能会经历这样短暂的时期,你会惊叹,天哪,这比我们以往任何时候预想的增长速度都要快得多。但我不知道,你已经看到了与 Google 达成的算力协议,也看到了与 Amazon 达成的算力协议。我们能够且将会做的还有更多。
比如,市场是流动的。如果你能非常有效地利用算力,且存在需求,你就能获得所需的算力。可能只是需要一两个月的时间。
引领顶峰竞逐与公司文化
艾米丽·张:超越你的死对头感觉如何?
达里奥·阿莫代:听着,我们面前还有许多艰巨的挑战。我们有一种「向顶峰竞逐」的理念,即试图带动其他公司与我们同行。我认为我们已经看到,我们确实带动了他们。有时他们并不承认自己在这样做。
有时他们在攻击我们的同时又在模仿我们,但这种带动作用非常有价值。
因此我认为,无论是从商业角度还是从模型层面来看,成为行业领先企业的价值,并不在于为了竞争而打败对手。其意义在于有能力引领整个生态系统共同发展,我们希望未来能在这方面做得更多。
艾米丽·张:但不得不说,取得胜利确实让人感觉不错。
达里奥·阿莫代:你看,我们总是力求成功,不是吗?就像我们一直在努力,我们并不是想在这里失败,我并不是那种认为我们应该停止这项技术发展、不该去构建它的人。我们存在于自由企业制度之中,而且,这没有任何问题。我们只是必须减轻模型带来的风险,所以,这始终是在两者之间寻找平衡。
艾米丽·张:那么,在 Anthropic 的大部分历史中,你们一直处于劣势。我想,当你一无所有时,占据道德制高点会更容易些。在这样的规模下,要保持初心有多难?
达里奥·阿莫代:我想说的是,我花了很多时间思考这个问题为何如此。
随着公司的不断扩张,我在每一个规模阶段都保持着警惕。在公司发展的每一个阶段,都会出现新的挑战。公司可能会以某种新的方式失去其特质。无论是商业上的进取心,还是其核心价值观。
我对此两者都感到担忧,因为我认为它们是协同作用的。
事实上,我认为我们能够构建出如此出色的模型,正是使我们能够以有效方式践行价值观的关键。随着公司不断成长壮大,这里存在着许多陷阱。有很多种可能出错的方式,这并不是因为我、联合创始人或公司领导者的价值观发生了改变,而是因为公司的构成变化得非常快。
所以我可能有一半的时间都在和公司谈论 Anthropic 的文化以及这种文化是如何运作的,当你增长得如此迅速时,你会雇佣大量来自大型科技公司的人。
如果你不告诉他们 Anthropic 是如何运作的,他们只会简单地重复他们唯一熟悉的那一套,也就是他们原先所在公司的运作方式。
因此,这是一个持续的挣扎,也是一个持续的挑战。
这就像是,我和 Daniela 或许最重要的首要任务就是弄清楚如何保持这一点。因为我们意识到,从长远来看,这才是我们的核心所在。
研发效率与科学进步
艾米丽·张:你们的产品迭代速度快得惊人。你们发布产品的数量之多、速度之快令人难以置信。你们是如何做到的?
达里奥·阿莫代:我想说两点。第一点是,我们是一家统一的公司。我们有着统一的企业文化。我认为我们在规模扩大的同时,依然保持了极高的效率。每个人依然目标一致,这体现了文化和组织上的统一性。我认为这是最重要的因素。
至于第二大因素,我想说是 Claude 本身,我们现在正在利用 Claude 来提供帮助。利用它来帮助我们开发模型,提高模型效率,并快速开发产品。为此你需要开发各种各样的新实践方法。虽然我们在这方面尚属新人,但它已经带来了显著的加速效果,并且这种加速正变得越来越可靠。这就是我会指出的两个因素。
艾米丽·张:你能告诉我你所见过的AI 做出的最疯狂的事情吗?
达里奥·阿莫代:我认为我所见过的最疯狂的事情主要发生在生物学和医学领域。我见过不少案例,实际上也包括 Daniela 的情况,Claude 诊断出了一些被许多顶尖医生漏诊的医疗问题。在生物学方面,这些模型在药物设计、计算化学等任务上开始表现得令人惊叹。作为一个曾经的生物学家,我看着这些成果时不禁感叹,这真的太难了。
要知道,完成 these 任务需要经过大量的专业训练。而 Claude 在这方面正变得越来越出色。这是我认为我们将从中获得巨大收益的一个领域。这就是积极的一面,我们将获得这些极其巨大的福祉。生活将会变得更好。人类体验的质量将会变得更好。
艾米丽·张:一个世纪的科学进步。
达里奥·阿莫代:一个世纪的科学进步,以及人类体验层面一个世纪的进步。比如,回溯到 1900 年。想想我们在 1900 年所面临的所有问题、导致人们过早死亡的所有原因、他们必须承受的所有苦难,以及我们今天不必再面对的所有物质匮乏。
然后再设想接下来的又一个百年。我真心相信这一个世纪的科学和医学进步,如果我们能克服当下的难关——我相信我们能够做到。我越来越感到乐观。我们将拥有一个远比现在更好的世界。
写作、思考与 AI 辅助
艾米丽·张:我知道你有多热爱写作。你以撰写文章而闻名。你会使用 Claude 来辅助写作吗?
达里奥·阿莫代:我会用。我还没有到直接采用 Claude 所写文本的地步,因为我有自己独特的风格,对此比较挑剔。但我基本上会用 Claude 来协助头脑风暴,帮我梳理主题,或者提供一些我可以参考的内容。
所以它起的是一种辅助作用。我不知道距离 Claude 能够写出比我更好的作品还有多远。我们还没达到那个阶段,但是,我认为那一天肯定会到来。
艾米丽·张:我也热爱写作,我觉得写作能帮助你理清思路。这其中涉及大量的批判性思维。如果我们让 Claude 代劳,我们是否会失去这种能力?
达里奥·阿莫代:我对此感到有些担忧,事实上,这也是我坚持自己写作的一半原因。这对外部受众而言确实如此。尽管有许多人阅读我的文章,但写作同样是为了理清我自己的思路,让我知道下一步该做什么,并为我与他人之间建立一个共同的参照点。
我认为我们仍在探讨如何以一种既能保留这些益处的方式来使用 AI。我想我目前所做的就是这样,比如我使用 Claude 进行研究。以及我使用 Claude 来协助梳理我自己的想法。
我认为如果我们只是全程使用它,比如让它写一篇关于 AI 风险的文章,首先,它写不出我的个人见解,其次,我也确实会失去写作带来的那些益处。随着模型性能的提升,我想未来大概会有某种方式能更直接地在写作中使用它们,同时又能保留这些益处,但这将是一个微妙的过程。情况不会单一呈现,我们必须在未来一段时间内逐步摸索。
我认为我们可能会迎来一种非常反常的组合,即 GDP 高速增长伴随着高失业率,或者至少是就业不足,又或是大量低薪岗位的存在,以及严重的不平等。
失业风险、生产力与宏观政策
艾米丽·张:你在失业问题上一直非常直言不讳。AI 可能会在未来 1 到 5 年内淘汰掉一半的入门级白领工作岗位。那是去年的说法。AI 的发展速度快得惊人。现在还是 50% 吗?还是比例更高了?
达里奥·阿莫代:我一直都说过,如果你回看那些原始视频片段,它们总是会被断章取义地截取那三秒钟,但实际上,我真实的表述一直是:我不知道未来会发生什么,但这预示着局势可能产生的剧烈震荡将达到一个数量级。
而且,我也一直在谈论我们可以采取哪些应对措施,我曾谈到过代币税,以及与企业合作来调整人员配置。我对再培训计划持有一点怀疑态度,但我们确实应该将其纳入宏观经济政策的考量中。
从一开始,我谈论的总是解决方案,但人类心理中似乎有一种倾向,总是剪辑出那三秒钟关于末日将至的内容。因此,我想传达的信息绝对不是末日将至。我想说的是,这是我们应该预见并感到担忧的事情,而且我们确实需要以积极的态度去应对。我并不完全确定,但我依然相当担忧。我的担忧程度依然处于同一水平。
我们现在看到 AI 正在提高人们的生产力,但这属于通常的初期增长阶段。如果你回顾一下工业革命时期,我在《Adolescence of Technology》中写过这一点。你自动化了 90% 的工作,这很好。
人们在剩下 10% 的工作上的生产力提高了 10 倍,因为他们获得了 10 倍的杠杆效应。但最终它会接近 100%。那么,随之而连带的问题是,你必须为他们找到其他可以做的事情。
关于长期发展,我尚不确定。对此我确实感到不确定。但我确实认为存在不同类型的适应。例如,我谈论的一点是 Anthropic 内部的软件工程师。我们目前正在经历这种转变,虽然 AI 编写了所有或几乎所有的代码,但 AI 确实让软件工程师变得更有效率。
但即便如此,它依然提升了人们的效率。然而我们已经开始看到一种苗头,即对于某些人而言,它可能并没有提升其效率,在这种情况下,直接让 AI 完成工作可能效果更好。
所以这是问题的一个方面。而另一方面则是,我们需要在哪些领域增加需求?我们称之为前沿部署工程师,或者类似于应用 AI 解决方案架构师,他们的工作兼具技术开发与客户沟通。目前对此类人才的需求非常巨大,因为客户群体庞大且我们正处于快速扩张期。
那么,这是否适合每一位从事纯软件工程工作的人?这并非完美匹配。这并非一一对应的关系。这让你意识到未来将会有巨大的颠覆,但事物也会随之调整。哪一方会胜出?我不知道。
但之所以必须发出预警,是因为这正是我们做出应对的方式。这也是我们制定政策的依据,无论是在人类自身层面,还是在全球宏观经济层面。我们希望提出经过深思熟虑的观点。我们不想做出人们认为无法真正实现或兑现的承诺。我们不想发表未经充分论证的言论。我们希望针对这些问题进行审慎思考,探寻切实可行的应对之策。
艾米丽·张:你展示了这张图表,其中显示了潜在的工作岗位流失情况,例如销售、金融等领域;哪些工作会消失,谁会被取代,以及会创造出哪些新工作?
达里奥·阿莫代:实际上没有人能确定,因为经济是不可预测的,这和股票市场是一样的,它们属于那种去中心化的进程,你无法提前真正预知人们未来依然能够胜任的工作部分究竟是什么。
但我想说的是,从广义上讲,任何存在入门级白领工作的领域,无论是银行业、金融业还是其他行业,AI 首先都有巨大的潜力去提升人们的工作效率,但之后,AI 将会具备全面替代人工完成整项工作的能力。
接着我们需要思考,人们究竟能做些什么?我认为我们需要提前对此进行规划。当我们与企业客户交流时,已经在做这件事了。我们看到了他们面临的选择。他们面临的选择是,我该节省成本吗?
这通常意味着减少雇员,基本就是用更少的资源做同样的事情,还是说我们应该在资源总量不变的情况下做更多的事情?只要有机会,我们总是尝试推动他们用同样的资源做更多的事,因为这基本上意味着雇佣相同数量甚至更多的人,只是去从事一些新的工作,从而推动他们实现正和博弈。
我们目前所处的有利条件是,蛋糕将会大幅扩张。正因为蛋糕会大幅扩张,所以很可能会出现人们能够进入的新领域,问题仅仅在于能否足够快地找到这些机会。这次颠覆的规模将会非常巨大,这正是我在提醒人们注意的地方,但我们必须解决这种匹配问题。
艾米丽·张:请为我推演一下,比如五年后你醒来时,这个国家是什么样子?这些人都在做什么?因为如果失业率达到那种程度,难道不就是革命开始的前兆吗?
达里奥·阿莫代:这正是我们想要防止的结果,我们绝对要避免这种情况发生。
我认为有几个切入点。这些都没有保证,我们无法确定,但毕竟还有物理世界,比如存在于物理世界中的事物,机器人革命也在发生,但它比 AI 领域正在发生的事情要慢得多。人们总是谈论建设数据中心,但当处理任何类型的信息变得容易得多时,限制因素可能就会变成物理世界中的事物。
因此,我们需要更多的人在物理世界中进行制造、构建和生产。
任何以人为中心的事物,我认为那都将是一件大事,我听过很多关于 AI 发现了医生未能发现的问题的故事,我感到高兴,但人们确实还是想和其他人类交流,特别是在处理一些重要事项时,也许 AI 可以提供更好的客户服务,但即便如此,人们,或者至少一部分人,还是希望与人类交流。
所以这类以人际关系为导向的工作,我认为它们将变得很重要,而且我认为人类会做出一些努力来引导 AI,在某种程度上,它必须符合某人的价值观和意图。所以我认为这方面会存在某种角色,尽管我不知道这种角色是薄弱还是深厚。我认为这很难说。
反击「末日营销」指控
艾米丽·张:目前已经出现了很多反对的声音。我知道你说过你是在试图提醒人们,但 Jensen Huang 说你在混淆任务与工作之间的概念。其他人也说过,这更像是一种对 Anthropic 有利的「末日营销」。所以我希望明确表达并坚决反驳这一点。
达里奥·阿莫代:关于失业风险的整体情况,我有一些想法。我是说,我们还没有完全充实这些想法,因为我想确保它们是准确的。但Anthropic 已经提出了许多方案。我们曾设立过经济补助金。我们有经济指数。我谈论的是通过税收和宏观经济政策来应对这些风险的可能途径。关于新工作是什么。
在 Technology 的萌芽期,我阐述过,我有大约 5 页的篇幅专门讨论任务与工作的区别,为什么这一次与以往不同,并列出了 6 件我们能做的事情,从私人慈善到政府行动。我谈论了问题,也谈论了解决方案。
但是社交媒体,我深恶痛绝,作为一种类别我深恶痛绝,人们只会截取一年前的三秒钟短片,他们并没有真正阅读过文章,或者他们利用了社交媒体的特性——而我在文章中已经非常严谨地探讨过这些风险。
认为这只是廉价营销的想法本身就是一种廉价营销。这是懒惰。这是未能与严肃的知识工作进行交流。我认为这也是问题的一部分。再说一次,我认为这是 Silicon Valley 顽疾的一部分。它已经被困在了这种三秒钟的社交媒体世界里。
因此人们只对这些内容做出反应,或者他们认为自己只需要对这些内容做出反应。再说一次,我认为这非常危险,而我们未能进行一场成熟的对话。
相反,人们只是懒惰地看待这三秒钟的片段。然后他们会说,噢,这就是 Dario 当时说的。这太愚蠢了。这太不严肃了。每当有人这么说时,我对他人的看法就会打折扣。
国家安全与军事 AI 的红线
旁白全球领先的 AI 公司之一正深度嵌入美国国家安全的多个方面,包括军事行动。Anthropic 与 Pentagon 就 AI 军事安全防护措施之间的对峙正在加剧。
艾米丽·张:你长期以来一直持反战立场,可以追溯到你在 Caltech 的时期。然而,你是首批与 Department of Defense 签署合同,在 U.S. 机密网络上进行操作的 AI 公司之一。用于发动战争。解释一下。
达里奥·阿莫代:好的。我想说的是,你看,世界是在不断变化的。正如我对这项技术的看法,我感到担忧,因为我们面对的是一个复苏的威权集团,他们极具侵略性,而我们需要捍卫自己。
这是我一直以来坚信的,并且现在依然坚持的观点,正因如此,在两届政府期间,虽然我可能并不认同每一项政策,但这正是我们普遍支持这一点的原因。
所以这就是我们与他们合作的原因。我们当然不是为了钱才这么做的。这非常麻烦,即便抛开法律战不谈,要在政府网络上进行部署,所获报酬并不多,却耗费巨大精力。所以我们这样做是因为我们对此怀有使命感。但同样地,既然我们是因为关切而从事这项工作,那么对该技术的使用就必须有所限制。
[我在谈论技术发展阶段时曾提出过这样的观点:我们应该在一切方面利用这项技术,但那些破坏我们自身价值观的方式除外,而我们所划定的大规模监视和全自主武器这些红线,正是我认为会破坏我们价值观的事物。
如果采取了这些手段,那么即便获胜也毫无意义。这就是我所看到的平衡点,也是我们所持有的立场。这也解释了为什么我们既是第一批与 Department of War 合作的公司,同时在其他人愿意从事某些行为时,我们却有所为有所不为。
我认为你需要选择一个立场并坚持到底。那种公司立场摇摆不定的做法——从最初宣称不与政府合作,到突然又全盘承接政府的所有需求——我实在无法理解。你应该选择你的原则并坚守它们。
艾米丽·张:你从 2024 年开始就一直与 Palantir 合作。
达里奥·阿莫代:没错。
艾米丽·张:他们的技术被 ICE 和加沙的警察部门所使用。Claude 是否以其他方式被用于监控?
达里奥·阿莫代:我们既没有通过 Palantir,也没有通过其他任何渠道与 ICE 合作。我们不与 CBP 合作。我不认为我们在加沙有业务。我们非常谨慎地将我们的合作范围限制在我们所认同的事物上。
艾米丽·张:所以,你划定了你的红线,总统禁止你与联邦政府合作,五角大楼将你标记为供应链风险,OpenAI 则趁机签署了你所拒绝的合同。赢得这场斗争实际上是什么样子的?
达里奥·阿莫代:我不认为一家私营公司能在这场斗争中获胜。这根本不是一场斗争。Anthropic 并非在试图获胜,也不是在思考输赢。这更多是一场关于政府如何正确使用 AI 的辩论。AI 是一项新兴技术。我们还不了解它在哪些方面可靠,在哪些方面不可靠。我们还不了解它在哪些方面能促进我们的价值观,或是在哪些方面会削弱我们的价值观。
因此,我认为重要的事情之一,就是针对我们认为好的用例——坦率地说,大多数用例都是好的——以及我们所担忧的用例,确立先例。正如我所言,我们已经看到,合同能发挥的作用终究有限,正如我们所见,其他人可能会签署一份不尊重你同样底线的合同。
但它所起到的作用是提高了人们对这一议题的认知。目前,国会正进行着严肃的两党合作,试图禁止我们所担忧的一些事项,并尝试设置防护措施。重申一次,我不想将此视为一场争斗,但某种程度上,这在促使我们国家更审慎地思考如何恰当使用这项技术方面取得了成效。
价值观与军事伦理
艾米丽·张:Anthropic 的经营者是一个意识形态疯子,他不应拥有唯一的决策权。我所关心的是更大范围的 AI 问题。你介意被称为意识形态疯子或一群左翼疯子吗?
达里奥·阿莫代:我一直都被人骂得比这难听多了。人们可以随心所欲地称呼我或 Anthropic。真正重要的是两件事:作为一家公司我们取得了成功,并且,我们坚守了我们的价值观。实际上,在某些方面,我的生活非常轻松,因为当你只追求那两件事时,这真的很简单,不是吗?就像那样,你总是清楚自己的立场。
艾米丽·张:一位美国官员曾表示,在 LLM 的帮助下,美国军方已将每日打击目标的数量从 1,000 个提升至 5,000 个。这意味着 Claude 可以帮助更快地杀伤更多人。你对此感到安心吗?
达里奥·阿莫代:我认为这里有两件事,首先是美国在军事上提高效率的能力。我支持这种能力。我认为拥有更强的这种能力并不会引发战争,反而能起到威慑战争的作用。基本上你是在问,你是否相信这个国家,你是否希望这个国家成为一个更强大的行动者,而不是影响力较弱的世界舞台上的行动者?我希望。我是一个爱国者。
还有一个单独的问题,那就是,美国政府参与的某些政策是我可能支持或不支持的吗?
政府所参与的,显而易见,我支持其中一些,而不支持另一些。这不由我决定。如果我们提供了一项技术,DOD 也提出了这一点,而我们实际上同意他们的看法。如果我们提供了一项技术,我们无权决定你可以进行哪项军事行动,或者不可以进行哪项军事行动。
现在,我个人可能认为某项军事行动是有道理的,而另一项军事行动是个糟糕的主意,但我们不会否认这项技术的作用。
你必须将政策制定权留给军事决策者。你能做的是划定一些高层面的界限,对我们来说,就是防止出现那些与我们的价值观、与我们国家的价值观不符的使用场景,并推动那些我们认为有助于弘扬我们价值观的使用场景。这就是我们的思考方式。
艾米丽·张:Bloomberg 曾报道称,美国军方在伊朗战争中使用 Claude,通过 Palantir 制造的平台 Maven Smart System 进行人工智能辅助目标定位。据报道,2 月份美国一枚导弹击中了伊朗的一所女子学校,造成超过 150 人死亡,其中大多数是儿童。Claude 在那次袭击中发挥了作用吗?
达里奥·阿莫代:我们,看,我们无法获取,我们并不确切知道这些模型是如何被使用的。显然,战争中发生的这些错误真的、非常可怕,这确实是一件非常可怕的事情。
如果这还不能说明为什么要坚持反对那些我们不支持的使用场景,我们甚至愿意冒着公司前途受损的风险,去限制这些模型的使用方式。而且,你所谈论的那个使用场景甚至没有触犯我们的红线。
我们担心未来会出现多出 100 倍的用例,其中一些确实违反了我们的红线。现在,还是那句话,我认为总体而言,这些模型的使用是恰当的。我认为从净效应来看是好的。
但军事决策者即使在最好的时期也会犯下极其严重的错误,而我不知道我们现在是否处于最好的时期。
比如,我们可以讨论几件事。我们可以讨论如何制定红线,以防止那些更有可能导致这些问题的模型使用方式,如果我们当初允许,完全放任,如果我们像现在几乎所有其他公司那样,屈服于全自动武器,就像这里所看到的那样,是 Claude 进行辅助,但由人类做出最终决定。
所以是人类做出了最终决定,而不是 Claude。想象一下,如果在一个世界里——不是 Claude,因为我们没有允许它这样做,而是其他人的 AI 模型——由 AI 模型直接做出决策而人类从未过问。这就是我们所坚持捍卫的。
那正是我们所抵制的。我想说的是,这里还有另外一回事。再说一次,我认为采购并不是实现这一目标的正确方式。但我们确实需要确保——这不仅是作为技术供应商的我所关心的,更是美国民众所关心的——即美国的军事决策者不会犯下这些错误。
确保他们运行可靠,并且在采取行动时做出明智的选择。
同样,作为一名公民和技术的供应商,这也是我所关心的。比如,政府在使用技术时,我们大量使用 Microsoft Excel。如果你说,你可以将 Excel 用于某项军事行动,但不能用于另一项,这在现实中是无法做到的。希望这能让你了解我们是如何思考这个问题的。
艾米丽·张:这所学校有一个网站,你本可以在 Google 搜索中找到它,难道 Claude 不应该发现这一点吗?或者说,AI 或他们使用的任何技术难道不应该发现这一点吗?这是否引出了一个更令人担忧的问题,即在战争中利用技术作为捷径?
达里奥·阿莫代:听着,听着,我想说的是,我不确定,我真的不确定。这依赖于,可能是我所掌握之外的机密知识。但是,我们已经确立的原则,我认为在这里被遵守的原则是,由人类做出最终决定。我不知道 Claude 或任何其他 AI 发挥了什么作用,但如果这都不能说明为什么该原则如此重要,我不知道还有什么能说明了。
艾米丽·张:AI 战争是更有可能阻止第三次世界大战,还是更有可能引发战争?
达里奥·阿莫代:总的来说,我认为它更有可能阻止战争。但如果我们对其使用方式没有任何限制,那么我认为,它更有可能导致战争爆发。你看过 Dr. Strangelove,这部电影的前提是,你拥有某种末日装置,一旦它认为自己正受到核武器攻击,就会自动发射核武器进行回击。
这能出什么岔子,话说回来,我又想到了致命性、完全自主武器这类话题。我认为冲突的发生方式在于,双方相互掣肘、伺机而动。他们会产生误解。如果我们对这项技术缺乏适当的监督,我认为此类事故发生的可能性就会增加。
现在,我认为如果 AI 能够被适当地利用,甚至不必局限于战争,仅考虑情报收集领域。试想一下,当我们掌握对手的一举一动时,他们想要进行某种入侵或军事行动就会三思而后行。因此,我认为卓越的情报能力确实可以阻止冲突。卓越的响应能力可以遏制冲突。我始终坚信这些事物。
Mythos:前沿模型的安全博弈
艾米丽·张:Anthropics 几乎每周都会登上新闻头条。当然,现在最受关注的是 Mythos。
旁白这是目前最新、最强大的 Anthropic 模型,它能够自主贯穿网络杀伤链的所有环节。
艾米丽·张:你曾说过 Mythos 的能力过于强大,不适合向公众发布。关于它,什么最让你感到惊讶?
达里奥·阿莫代;我认为最让我惊讶的是,模型在发现漏洞方面的能力一直在不断攀升,更重要的是,它们还能将这些漏洞转化为利用程序——而人们通常只讨论漏洞本身。人们往往不谈论将漏洞转化为利用程序的过程,而它在这方面表现得相当出色。
所以,让我感到惊讶的是,我们见证了这一巨大的飞跃。这是一个跨度特别大的飞跃。而且在没有任何引导的情况下,一些我们最初提供该技术给它们的公司表示,这简直是一种超级武器。应该必须持有枪支许可证才能使用它。
请不要发布这个。这种限制使用的诉求正是来自我们提供该技术的那些公司,它们发现了大量关键漏洞以及围绕这些关键漏洞的可利用性,以至于它们基本上是在请求我们不要发布它。
需要明确的是,由于社交媒体领域的信息总是会被扭曲,我们的目标并不是永远将其束之高阁。我们正在尝试逐步开放这项技术。面向越来越广泛的群体。最终,我们认为应该向大众发布 mythos,但必须配备强有力的网络安全保障措施。
目前的一个顾虑是,我们随 Opus 4.7 发布了当下的网络安全保障措施,虽然这是一个优秀的网络安全模型,但其能力要弱得多,而且这些措施是可以被越狱的。我们对其他一些认为这是一种充分防御手段的公司感到有些担忧,因为虽然这有时确实有效,但我们都知道这些分类器是可以被越狱或绕过的。
根据我们自己的测试,坦率地说,根据我们对其他公司所采取防御措施的评估,这些防御措施目前还不够强大。这正是我们目前正在等待的,即让防御能力达到我们真正对其有信心的程度。
艾米丽·张:当时对此有很多抵制声音。有研究人员称他们能够使用更便宜的开源模型来复现这一过程。有些人说 OpenAI 已经具备了这些能力。那么,你如何回应那些认为这是一场大型公关作秀的人呢?
达里奥·阿莫代:关于可以通过开源模型进行复现的说法,这是完全错误的。该系统的核心理念是 Mythos 能够查看整个代码库并发现问题。有人在 Twitter 上说,如果你让一个开源模型专门指向 Mythos 发现的那一行代码,那么它也能发现同样的问题。那不是,那不是提示词,那不是那个问题,比如说,那不是,那根本不是同一回事。
对此的终极测试是,我们去接触公司,我们去查看开源代码库,我们在 Firefox 中发现了 271 个新的漏洞。我们在那些尚未修复漏洞或尚未能披露漏洞的私营公司中,已经发现了数以千计的漏洞。
就像是,在此之前的模型中没有人发现那 271 个漏洞,所以与那种「我找到了 Mythos 发现的确切代码行,我知道我在大海捞针中找到了针,而其他东西现在可以捡起这根针」的情况相比,实践中真正有效的工作流是另一回事。
但对于那些说这只是营销手段的人,我想说,我们因为没有发布这个模型在商业上遭受了巨大的损失。这个模型极大地加速了 Anthropic 内部的研究以及后续模型的生产,如果我们发布它,它也会给外部世界带来同样的加速效果。这在商业上对我们造成了极大的伤害。
艾米丽·张:如果这能帮助防御者,那么它也会帮助攻击者。我们还能防御任何东西吗?
达里奥·阿莫代:我想说的是,我们之所以在将 Mythos 提供给攻击者之前先提供给防御者,是为了修补所有的漏洞。我不知道,随着模型变得越来越好,可能会有越来越多的漏洞被发现,但漏洞的数量终究是有限的。它们是有限的,就像你拥有这个表面,上面只有这么多孔洞一样。
你修补了所有漏洞,表面就会变得极难被攻击;同时,代码本身也是由强大的模型编写的,因此也就很难发现其中的缺陷或对其进行入侵。所以我认为从另一方面来看,希望在 6 个月或 1 年后,我们能拥有一个比过去更加安全的互联网生态系统。我们正努力实现那个目标,并尽最大努力向新的网络防御者开放 mythos。
我们一直在与政府进行沟通。我们非常尊重他们的建议。由于担心反间谍风险,他们正在放缓我们开放的速度。风险。我认为这是明智的。我认为这里所有严肃的人都明白,这其中存在真正的权衡。
我们看到 Twitter 上的人和其他 AI 公司对此有很多尖刻的批评。你看看他们的言论,再看看他们言行不一的做法。他们不是认真的人。他们并没有认真对待我们在这里所面临的严峻权衡。
你看,每天都有客户打电话给我说,我想要使用 mythos。也有国家打电话给我说,我想要使用 mythos。而美国政府 and 我的安全团队则对我说,不,等一下,这其中存在风险。我并不是说哪一方是正确的。
我认为真相介于两者之间。双方都有合理的观点。双方都有合理的观点。但这其中存在真正的挑战,我们需要作为一个社会共同去面对,而不是将事物简单地斥为廉价营销,也不要像其他一些公司那样,利用首席营销官来试图进行反向定位。
这一切都显示出一种令人难以置信的缺乏庄重感与成熟度。我们需要共同面对这一时刻。
权力制衡与政府监管
艾米丽·张:你是否已经不得不做出一些让你感到不那么自在的权衡了?
达里奥·阿莫代:Anthropic 的整个历史一直都是权衡的过程,Anthropic 的整个历史,在某个理想世界里,你会在发布第一个聊天机器人之前,更倾向于花费数年时间去研究每一个可能出错的地方。现在,我们确实推迟了。
我们确实推迟了 Claude 的首次发布,但我们只推迟了几个月。所以我说一切都是一种权衡,处于光谱的极端两端是完全疯狂的,因此,一切都是权衡。
我想说的是,既然我们现在处于我所描述的商业领先地位,实际上,我和 Daniela 正在尽我们所能,进一步推动在审慎行事方面取得进展。这就是 mythos 发布的目的,如果你不是行业领先者,就很难做到这一点。所以我认为你会看到更多类似的事情发生。
艾米丽·张:有一种观点认为,政府为什么不接管你们呢?他们为什么要让一家私营公司掌控如此强大的技术?
达里奥·阿莫代:所以我确实认为这是一个非常严肃的问题,我也认同这些担忧。我不认为政府应该直接接管我们,但我可以这样表述。我想说的是,回顾并描述一下现状,历史上我们所见过的每一项前代强大技术,要么是由政府建造的,要么是起源于政府。
比如核武器,很显然,最初是由政府建造的,此后也基本上是由政府主导建造的。但即使像互联网、GPS、手机这些技术,所有的研发工作都是在实验室、联邦实验室以及大学里完成的。
AI 是第一项在私营部门构建的技术,政府在其中并未发挥实质性的作用,且进场相对滞后。我认为这实际上是一种危险且不稳定的局面。这不是我会选择的局面。这并没有什么替代方案,这项技术本身就是可以被构建出来的。我们的竞争对手正在进行建设,这具有经济价值,反正它终究会被建造出来,问题在于政府并未参与其中,而不是私营部门在做。
我认为我们需要考虑权力的制衡,所以我认为需要对 AI 公司的权力进行制衡。我们有这样一个机制,即 Long-term Benefit Trust,它本质上是一个可以任命及罢免多数董事会成员的机构。如果将其逻辑贯穿始终,它实际上拥有解雇我的权力。
我们现在正在引入一些元素——虽然远非全部元素——我们正在引入一些类似公共治理的要素,即你必须对某人负责,而不仅仅是对公司的股东负责。这一点非常重要,无论公司未来发生什么,这种结构都将持续存在。在 AI 领域,我们鼓励其他公司也采用类似的结构。
在政府方面,我认为我们需要制衡。国会已经宣布了一些旨在制定红线的努力,所以我真的认为立法部门 and 司法部门需要发挥作用,因为对于这项技术,我既担心公司掌握它,也担心政府掌握它。
随后,企业需要对政府进行制衡,而政府也需要对企业进行监管。我们需要对这项技术进行基础性的监管。我认为我们需要开始实施发布前测试,即强制性的发布前测试,以及对模型进行测试和审计。
对我来说非常讽刺的是,硅谷科技界有一群人,他们起初的立场是,即使是围绕这项技术进行透明化,甚至是实施出口管制,都会彻底摧毁我们创造这项技术的潜力,扼杀创新。然而一旦他们看到了我一直以来所预料到的第一个真正危险,情况就变了。他们开始大谈特谈所谓的国有化,认为政府应该直接将其接管。
得了吧,各位。你们的态度反反复复,从最极端的反监管——比如『你们要是敢多看我们一眼,就是在摧毁这个行业』——转向了『政府应该把一切都抢过去』这种完全共产主义的做法。我们需要一种更理性、更温和的方法。
这正是我们一直以来所主张的,因为我们深刻理解这项技术所蕴含的力量。我们并不恐慌。我们也没有否认这一点。我们看到了平滑的指数级增长,并正在对此做出相应的应对。
那么,你回到白宫的访问怎么样?我们总是尝试与任何能够合作的人共事。在政府层面,我说过我们有一套简单的方法。我们有一套原则。我们遵循这些原则,并希望对方阵营的人能够通情达理。老实说,政府确实非常认真地对待 mythos。
比如,我们与 Secretary Bessent 以及 Chief of Sotomay 进行了良好的对话。还有幕僚长 Susie Wiles,我认为他们确实理解此处风险的本质。我认为 Mythos 确实在帮助他们更具体地感知 these 风险所在。
所以,正如任何一届政府一样,有些部门我们相处得非常好,他们也能理解这一点。当然,也有些部门比较难打交道。我认为这是正常的。这种情况在任何政府中都会发生,我们只是尽力去妥善应对。
智力溢价、地缘政治与未来图景
艾米丽·张:你职业生涯早期曾 Baidu 工作过,那是一家大型中国科技公司,你在其硅谷分部任职,而且你一直对中国持明确看法。中国正在推出强大的开源模型,而美国有公司正在免费基于这些模型进行开发。这是一种威胁吗?
达里奥·阿莫代:所以,我们在这种技术上看到的一点是,模型智能程度的溢价确实很高。我们极少看到人们会更倾向于使用智能程度较低的模型。明确地说,现在已经存在一个繁荣的生态系统。有很多挑战和问题比我们需要前沿模型才能解决的问题简单得多。
但还是要强调,这是一种指数级增长,也就是说,这些非前沿模型可能具有与我们在 2023 年和 2024 年所见相当的经济价值,但别忘了,我们正以每年 10 倍的速度增长。
因此我们发现,处于前沿水平的东西总是比远离前沿的东西要强大得多。我认为这一点对于那些习惯于在旧时代构建产品的人来说,还不是特别能够理解,作为一名之前从未经营过公司、从未思考过上一个产品时代,并且特别厌恶社交媒体时代的人。
我感觉自己像是那个世界之外的局外人。而且我觉得人们的直觉是错误的。他们持有各种关于产品的经验法则。我认为每年 10 倍的指数级增长模型确实打破了这一点。就像智力是一个极其关键的因素,其权重超过了一切。所以我们一次又一次地看到,价值往往存在于前沿领域。
现在,对于某些滞后模型,我所担心的是它们带来的风险,即我们面临的 Mythos 级网络攻击能力。12 个月后,我们将拥有更强大的网络能力,但 Mythos 级网络攻击能力可能届时会供任何人下载。希望在那之前我们已经修补好了一切。我不认为我们有什么办法能阻止它,但我认为这是一个严重的问题。
艾米丽·张:你在 baidu 的所见所闻是否塑造了你对中国的看法?
达里奥·阿莫代:并没有,真的没有。
我在那里工作了一年。我想我可能更多地是在语音识别以及诸如此类的事情上学到了东西。或许唯一让我担忧的是,我们获取语音识别数据的方式中,有一部分是——在中国不在乎隐私,所以我们拥有所有这些语音识别数据。
但除了这一点,我在这里的忧虑是地缘政治层面的。我认为在中国发生的事情中最令我担忧的,是我们在美国所见到的情况,即我们所看到的对批评声音的压制,甚至在美国也是如此,比如在中国香港问题上发生的事情,比如能够干预美国的现实。
商业网络并压制批评,那是一个威权国家。而且是一个高科技威权国家。当我看到这种情况与 AI 相结合时,你确实会在这里得到一个反乌托邦,就像 1984 或更糟。
我的重点在于尝试阻止这种情况。我认为我们拥有机会阻止它。
我认为我们有机会让 AI 成为一种支持自由的技术,那种让人类更自由、能够实现人人享有平等正义承诺的技术,否则它也可能走向反面。至于未来走向何方,这取决于 AI 公司的行动,取决于政府的行动,也取决于我们所有人的行动。因此,我认为我们对此负有责任。
自我迭代与文明存续
艾米丽·张:你们领域的人常谈论这样一个时刻:当 AI 变得足够强大,能够自我改进,随后改进后的版本又继续自我迭代,以此类推。你们的一些研究人员认为这一时刻即将到来。这一时刻离我们还有多远?
达里奥·阿莫代:我不认为这是一个特定的时间点。我认为这是一个持续的过程。在某些方面我们已经见证了这一点,即 AI 能够为下一代 AI 建议架构。我想说在一年前,我们观察到全要素生产率因 AI 而提高了 10% 到 15%。比如,现在这个比例可能已经上升到 20% 或 30% 了。这甚至可能正在翻倍。
就像所有事物一样,我们正处于指数曲线上,并不存在某个瞬间 AI 会突然自我进化、失控或变得不安全。
我们所经历的是一种不断加速的指数级增长。而在指数曲线上的每一个节点,我们都必须评估:现在是放慢脚步的时候吗?现在是时候对这项技术施加更多管控了吗?我认为未来将需要越来越多的管控。但我认为,破解这一切的关键就在于这条平滑的指数曲线。
再说一次,我认为那些曾经反对一切 AI 监管,随后因为看到某个现象就主张将其国有化的人,给我们上了一课。我认为那些曾经轻视 AI 的力量,后来却惊呼 AI 正在自我进化、即将失控并要求彻底叫停的人,也给我们上了一课。
在这些极端反应之间反复横跳,对于应对这项技术而言是极其无益的。
正确的应对方式,明智的应对方式,应该是保持冷静,不惊慌失措。我们的应对措施将随着技术的威力平稳提升。如果你看到有人出现这种疯狂的摇摆反应。那就说明他们被打了个措手措手不及,而且他们并不严肃。
艾米丽·张:据我了解,你最喜欢的书之一是《The Making of the Atomic Bomb》。
达里奥·阿莫代:没错。
艾米丽·张:你认为自己和 Oppenheimer 之间存在相似之处吗?
达里奥·阿莫代:我最认同的人物是 Leo Szilard,他才是最早提出可能存在某种链式反应构想的人。
听着,我的观点是,我们无法通过那些超凡脱俗的个性,或试图成为一切核心的人物来解决这个问题,这里需要权力的制衡,有很多强大的参与者在此有各自的利益,要想让每个人都有好的结局,唯一的方法就是建立某种机制,即在各处实现基本的制衡。
所以从某种程度上说,我实际上将 Oppenheimer 视为一个反面教材,即不该发生什么。
艾米丽·张:你曾说过,文明崩溃的可能性大约在 10% 到 25% 之间。这并非微不足道。是否存在一种情景,即导致这一结果的原因是由 Anthropic 构建的?
达里奥·阿莫代:我当然希望不会。我的观点是,我们所采取的行动降低了这种概率,而不是增加了它,这种概率源于技术本身那套非常直观的逻辑:世界上存在许多国家,经济体内存在许多公司,如果真空地带没有被填补,就会有新的公司诞生,这就是我们所面临的困境。
我们正在努力采取行动来降低这种概率。我认为我们降低它的程度远大于我们提高它的程度。
但是,这项技术的固有属性就是不可预测。所以,我们在发布产品前会进行大量的构建和测试,并且我认为,目前发布的模型并不危险,至少在网络安全领域之外并不危险。然后我们尝试迭代并从中学习。所以我们有无数种防御机制,公司内部一半的工作都是在尽可能地降低风险。
但是,风险永远不可能降为零。
我想说的是,假设市面上有很多航空公司,而你决定创办一家更安全的航空公司。你的航空公司既可以比所有其他航空公司安全 10 倍。但是,如果有人来问你,你能保证你的飞机永远不会坠毁吗?你怎么可能保证呢?你怎么可能做得到呢?
艾米丽·张:但如果飞机坠毁的概率是 25%,你肯定不会乘坐那架飞机。
达里奥·阿莫代:确实如此。25% 的比例太高了。我们正在努力让这一概率降到非常、非常低的水平。这就是我们的目标。
建立信任:用行动证明与众不同
艾米丽·张:你们正在构建某种极其强大的事物,并有望从中获得巨大的收益。我们为什么要信任你们?
达里奥·阿莫代:我认为,当任何公司刚起步时,尤其是考虑到我们所见的整个 Silicon Valley 作为一个实体的行为表现时,人们有这种看法是很自然的。回顾过去几年,我认为从不信任的角度出发——如果你对我一无所有,或者对 Anthropic 一无所知的话——这是一种相当理性的态度。
我认为 Silicon Valley 已经失去了世界太多的信任,我们必须重新赢回这种信任。
我们想要传达的信息是,我们确实与众不同。而这种信任必须通过我们的实际行动来赢得。你可以赞同或反对,但我们始终坚持了自己的价值观。关于神话传说的说法,不发布这款极其强大的模型确实在商业上限制了我们。
在此之前还有许多琐碎的事情,我们在中国问题上言出必行。我们切断了对模型的访问权限。我们本不必这样做。没有人要求我们这样做。要知道,在当时那个数亿美元还占我们总营收相当大比例的时期,这让我们损失了数亿美元。
比如 Claude II 的延期发布,我们在这方面有很长的历史。
我们并不完美。我们会犯错。但是,我想请大家审视我们整体的历史,如果将这段历史汇总起来,关于我们最符合这段历史的假设是什么?人们必须自己做出决定。
但我认为一个始终如一的假设是,我们确实是在努力去做。去做正确的事情。
我们并不完美。组织总是存在机能失调的问题。我们一直在试图修复它们,让它们运转得更好。过程中会有许多失误,许多出错的地方。但从根本上讲,我们对于如何做正确的事有着真诚而严肃的愿景,并且我们正在努力执行这一愿景。
艾米丽·张:那么,我们将在指数增长的另一端与你相见。
达里奥·阿莫代:嗯,希望如此。
艾米丽·张:嗯,希望如此。
达里奥·阿莫代:有一件关于 CEO 工作令我感到惊讶且之前并不了解的事情,那就是你必须经常化妆。这完全出乎我的意料。
艾米丽·张:就一点粉底而已。
