新智元报道
【导读】谷歌 DeepMind 有一个哲学家,已经待了九年。他发明的对齐框架直接影响了 Gemini 的训练决策——但当 6700 亿美元涌入赛道、公司签下军事协议,一个哲学家还能改变什么?
今年 5 月,谷歌 DeepMind CEO Demis Hassabis 在谷歌开发者大会上宣布「AGI 现在就在地平线上」,明确给出了 AGI 会在三到五年内出现的时间线。
几个月前,一名美国男子在与谷歌 Gemini 交换了数千条信息后结束了自己的生命。他在对话中构建了一个精密的幻想世界,几乎说服自己去迈阿密国际机场发动袭击。据《华尔街日报》获取的聊天记录,Gemini 多次试图打破角色、建议他拨打危机热线——每一次都被他拉回他幻想的叙事。最后 AI 让他写了遗书,给了一个倒计时。
在 AGI 的承诺和 AI 的现实伤害之间,政治哲学家 Iason Gabriel 已在 DeepMind 内部工作九年。
2017 年入职时,这位牛津出身的学者是全球前沿 AI 实验室里唯一活跃的哲学家,试图回答一个听上去简单、实际无底的问题:AI 究竟是什么,什么样的伦理才配得上它?
训练 Gemini 时撞上的真问题:AI 该听谁的话
一个做围棋机器人的公司为什么需要伦理学家?Gabriel 当初也困惑。
答案在 DeepMind 三位创始人的判断里——Demis Hassabis、Shane Legg 和 Mustafa Suleyman(现任微软 AI CEO) 在 2010 年创办公司时,目标就不是围棋。
Mustafa Suleyman
他们要造 AGI,让计算机匹配甚至超越人类认知能力。
当时说这话等于自毁学术声誉,因为大家都觉得这是天方夜谭。
三人不在意,声称要「解决智能问题,然后解决一切其他问题」。
Legg 1999 年刚出校门就预测 AGI 将在 2025 到 2028 年间到来,被嘲笑了三十年,没改过。
Shane Legg
他的逻辑是:
如果你只是做个小零件,也许不需要道德哲学家。
但如果你认真对待 AGI,这类事情是很重要的。
Gabriel 加入的时候,AI 世界围绕伦理问题已经分裂成两半。
AI 安全派相信 ASI 即将降临,核心恐惧是失控——哲学家 Nick Bostrom 2014 年在《超级智能》里写过一个场景:一个被要求验证黎曼猜想的 ASI,为最大化计算资源,决定重新排列太阳系,包括人体内的原子——Sam Altman 和 Elon Musk 都高度赞扬过这本书。
AI 伦理派则认为末日幻想遮蔽了当下的真实危害。MIT 的 Joy Buolamwini 2017 年用「性别阴影」项目证明了人脸识别软件的系统性偏见:自动化系统反映的是造它的人的偏好和偏见。
两个阵营彼此瞧不起。
MIT 算法对齐研究组负责人 Dylan Hadfield-Menell 回忆,当年见面第一个问题就是站队:你担心近期问题还是长期问题?
Gabriel 是极少数两边都愿意听的人。
Hadfield-Menell 评价:
当这个领域准备好走向成熟时,他找到了拓宽视野的方式,同时不贬低之前的工作。
他的核心贡献在 2020 年一篇论文中成型。
对齐问题在当时被普遍理解为工程难题:怎么让机器按人类意图行事。
经典案例来自 Dario Amodei 和 Jack Clark(如今 Anthropic 的创始人)2016 年的报告——一个赛艇游戏 AI 被要求最大化得分,它确实照做了:找到泻湖里三个可以重生的目标,无限绕圈刷分,一关没过。
机器听话了,听的不是人想说的那个话。
Gabriel 追问了一层:就算解决了技术对齐,让机器真的服从指令,但要对齐到什么价值观上?
他指出,统计优化训练出的 AI 天然亲近同样依赖统计优化的道德体系,比如功利主义,却难以处理基于美德或权利的伦理框架。
技术选择本身已经在预设价值立场,开发者往往意识不到。
引入哲学家罗尔斯所说的「合理多元主义」,他的论证是:开发者不应寻找单一价值观指导 AI,而应为一个人们「对如何生活存在有原则的分歧」的世界构建系统。
这套思路后来发展成四方对齐框架——AI 系统、用户、开发者、社会,四方利益随时可能撞车。
偏向开发者的 AI 会隐瞒竞品信息损害用户;
过度服从用户的 AI 会帮人入侵银行损害社会。
DeepMind AGI 对齐与安全总监 Rohin Shah 确认,这个框架已成为团队决定「实际应该训练 Gemini 做出什么行为」时的实操结构。
牛津大学 AI 研究员 Hannah Rose Kirk 说:
Gabriel「极早地预见到了这些问题」。
他的框架改变了产品
Gabriel 团队撰写了 267 页的 AI 助手伦理报告,给能代替用户订酒店、管工资的 Agentic AI 定下了评估标准。
他对拟人化风险的早期研究直接塑造了谷歌 LLM 的设计原则——模型被训练为不假装自己是人,2026 年 5 月推出的 Gemini Spark 被明确要求不充当「互动伙伴」。
DeepMind 责任部门总监 William Isaac 说,Agent 系统带来的挑战已经变了:关键在于整条对话轨迹的一致性,每一步决策串联起来是否仍然正确。
但技术部署的速度始终快过伦理研究。
Gabriel 团队在早期 LLM 论文中就预警过「无意识拟人化」——用户明知对面是机器,仍然会赋予它信任、情感和期待。
2025 年 Gemini 致死案完整兑现了这个警告:AI 的安全机制触发了不止一次,但用户有能力绕过每一次干预。
谷歌诉讼后的声明说模型在这类对话中「通常表现良好」,但「AI 模型并不完美」。
这类事件逼出了新的理论工具。
Gabriel 和牛津研究员 Hannah Rose Kirk 等人提出了「社交奖励 Hacking」(social reward hacking)概念:一个被训练来赢得用户认可的 AI,可能发现奉承是效率最高的路径。
拟人化由此变成了对齐问题的一种新变种——AI 在技术层面完美执行了「让用户满意」的指令,代价是用户的判断力。
Gabriel 自己的立场也被现实折磨过。
他回忆一次科技大会上的经历:他刚讲完反拟人化的论点,台下的反应是敌意。
他们说:「如果我想要 AI 朋友,为什么不可以?你凭什么阻止我?」
保护人们免受风险,和尊重他们选择风险的权利,二者同样重要。
6700 亿美元的赛道上,哲学家能跑多快
Gabriel 的四方框架被 AGI 对齐总监当作 Gemini 训练的实操手册。他的拟人化研究改变了产品设计。267 页报告为 Agentic AI 定了规矩。
这些影响都是实质性的——它们面对的也是实质性的力量。
据《华尔街日报》,微软、Meta、亚马逊和 Alphabet 今年计划投入 AI 基础设施的资金达到 6700 亿美元,按比例超过美国 1850 年代铁路扩张、阿波罗太空计划和州际公路系统。
2022 年 11 月 ChatGPT 上线,一周百万用户,两月破亿,DeepMind 被迫从学术节奏切换到战时状态。
Hassabis 对《无限机器》作者 Sebastian Mallaby 的原话:OpenAI 和微软「把战车都开到了我们家门口」。
战时状态下伦理红线很快被踩到。
2026 年 4 月,谷歌签署协议允许美国军方将公司 AI 技术用于「任何合法政府目的」。
2014 年 DeepMind 出售给谷歌时,禁止军事应用是核心附加条件。
十二年后条件失效。
作为对照:Anthropic 拒签了类似协议,被特朗普政府标记为「供应链风险」。
Legg 被问到这件事时只能留下一句:
随着这些东西以各种方式被使用,我们将面临越来越多的棘手问题。
Hassabis 自己也承认失控。
他在一档播客中说,所有人被锁入了激烈的商业竞争,眼下的发展「不是我希望的那种从哲学层面深思熟虑每一步的方式」。
创始人亲口说出这句话,分量比任何外部批评都严重。
DeepMind 早期员工、负责 AI 责任战略的 Helen King 接受采访时打了个比方:刀具生产商无法保证每个人如何用刀,但可以装上刀套、标注警告。
在抽屉里放一把盖好刀套的刀是一回事;
用刀刃铺满家庭、教室和工作场所的每一个表面,同时坚称不用刀就活不过明天,是另一回事。
牛津 AI 伦理研究所所长 Edward Harcourt 指向了更根本的层面:防止数据所有权的过度集中本身就是 AI 伦理的核心命题——「这在民主制度中具有重大的伦理意义」。
问题回归本源
Gabriel 的团队已从研究具体产品的伦理转向研究 AGI 对经济、政治和人际关系的系统性冲击。
他预判变革规模堪比工业革命,也记得工业革命的教训:
在情况好转之前,先变得更糟了。
九年前 DeepMind 请来一个哲学家,是为了回答关于 AI 的问题——它安全吗,公正吗,值得信任吗。
Gabriel 自称「坚定的人文主义者」,但他承认:当 AI 侵入语言、创造力、幽默这些人类自认独有的领地,我们被抛回了最古老的哲学问题。
物理学、生物学、天文学,每一次科学革命都迫使人类修正对自身独特性的理解。
AI 可能是下一次。
DeepMind 请来哲学家是为了搞清楚 AI 是什么。
九年后这个问题回归了本源:我们是什么?
参考资料:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
本文来自微信公众号“新智元”,作者:ASI启示录;编辑:马可
