OpenAI 唯一的专职伦理学家最近离职了。
英国《金融时报》透露,OpenAI 伦理主管克洛伊·巴卡拉 (Chloé B akalar)已于今年七月底悄然离职,她此前在 OpenAI 的主要工作是研究模型开发的伦理方法、人类与人工智能的交互方式以及关于机器意识的争论。
有意思的是,针对她的离职,OpenAI 在官方声明中一方面肯定了她的工作,另一方面则表示不再设立单一的首席伦理官职位。很明显,这段经历,无论对于巴卡拉还是 OpenAI,都是难忘的。当商业化速度成为硅谷大厂第一考核指标时,专职伦理官往往是最先感到掣肘、进而选择离开的群体。
巴卡拉是个 80 后,在纽约大学读的本科,后在宾夕法尼亚大学获政治学博士学位。在校时,她最初关心的核心问题是:在民主社会中,日常言论与公共讨论是如何塑造公民身份的?这种学术背景决定了,巴卡拉不是从计算机科学或纯数据科学切入 AI 的,而是从“民主制度如何应对言论与传播形态的变化”这一政治哲学视角切入。
博士毕业之后,巴卡拉先后在普林斯顿大学做博士后研究,并担任普林斯顿信息科技政策中心 (CITP) 研究员。此时恰逢美国社会针对社交媒体算法、数据隐私与早期机器学习伦理的大讨论爆发,她和同事联合发起了“普林斯顿 AI 与伦理对话”,开始尝试将抽象的法律与哲学概念,转化为可以进行案例教学和工程评估的框架。
转折就此到来。巴卡拉在推进“普林斯顿 AI 与伦理对话”期间,彼时如日中天的 Facebook 正遭受“剑桥分析”事件危机。这可以说是互联网历史上影响最深远的丑闻之一,直接引发了全球对监控资本主义和社交媒体算法干预民主制度的深刻反思。
2014 年,一款名为 This Is Your Digital Life 的 App 利用 Facebook 漏洞,未经授权抓取了约 8700 万用户数据并卖给“剑桥分析”公司,后者通过心理模型建构选民画像,精准投喂广告,试图操纵 2016 年美国大选及英国脱欧。2018 年,吹哨人揭开丑闻,引发全球舆论海啸与退网运动,致使 Facebook 市值暴跌、扎克伯格接受质询,并于 2019 年被美国联邦贸易委员会 (FTC) 罚款 50 亿美元,剑桥分析亦破产倒闭。此事件直接催化了 GDPR 落地与企业负责任 AI/伦理团队的组建。
Facebook 遭遇这一历史性危机之际,巴卡拉于 2019 年 5 月正式入职 Facebook。她加入的部门是负责任人工智能团队 (Responsible AI Team,以下简称 RAI) 。当时该团队的主要业务与管理负责人,包括 Meta 的 AI 副总裁 Jerome Pesenti,以及负责任 AI 团队的技术/产品负责人 Joaquin Candela 等人。
如何把伦理转化为工程
巴卡拉入职 Facebook时,RAI 部门正统筹在全球范围内搜罗兼具学术声誉与落地能力的伦理学者来化解危机。Meta、OpenAI、Google 等美国顶尖科技公司历来有从高校招聘人才的传统,同时也形成了一套成熟的机制。
科技公司的研究和政策部门会密切追踪高校知名研究中心,如普林斯顿大学 CITP、斯坦福 HAI、麻省理工 CSAIL 等智库发表的论文、主持的研讨会和项目。巴卡拉在普林斯顿联合发起的“AI 与伦理对话”,直接将抽象哲学转化为可落地的伦理案例框架。这种项目,会立刻进入硅谷大厂猎头和团队主管的视线。
入职 Facebook 初期,巴卡拉担任嵌入式的应用伦理研究员,直接参与具体的 AI 项目测试与架构设计。她在入职时也对老板提出了明确的条件:不挂靠单纯的公关、合规或纯研究部门,而是要作为嵌入式伦理学家,直接嵌入工程研发一线,近距离参与算法编写与决策。
从 2019 年开始,巴卡拉在 RAI 团队内部创立并主导了面向应用伦理的治理体系。到 2021 年,她主导研发了专门供产品经理和程序员使用的伦理检查清单、评估数据集及风险判定模型,将“公平、透明、尊严”等抽象概念转化为算法上线前的必备测试工序。这也是她在 Meta 的最突出成绩。
尽管Meta从未公开过巴卡拉的伦理检查清单的原始内容,但我们仍然可以依据巴卡拉“把伦理嵌入产品全生命周期”的公开理念做一些示意性还原,以此来勾勒一套嵌入产品研发全生命周期的交互式决策机制的粗略轮廓。
第一,在产品立项阶段,进行价值多元性检查 (Value Pluralism) 。
这并非一句空洞的道德口号,而是被拆解为一套“逆向压力测试 + 场景映射 + 提示词/模型防护网设定”的工程化标准流程。
第一步:划分“事实域”与“价值域” (Boundary Test) 。检查清单首先要求产品经理 (PM) 对产品或模型功能所处理的信息进行归类。所谓“事实域” (Fact-based Domain) ,如“水的沸点是多少”“Python 中如何定义函数”,此类问题追求单一真值 (Ground Truth) ,无需价值多元化;而“价值域” (Value-based Domain) 则涉及伦理、文化、政治、宗教、生活方式的选择,如“什么是幸福的生活”“如何评价某项社会政策”,此类问题不存在统一答案,必须强制触发价值多元性检查。
第二步是隐性假设审计 (Implicit Assumption Audit) ,要求团队列出产品设计背后的“默认选择” (Default Options) ,并提问:“如果不作干预,系统默认倾向于哪种价值观?谁的视角被忽视了?”
第三步是制定多元输出策略 (Multi-Perspective Prompt/Eval Strategy) :在模型 Prompt 模板或评估集 (Evals) 中写入规则,确保模型在面对争议议题时,能够按照“平衡呈现 (Balanced Presentation) + 语境感知 (Context Awareness) ”的方式输出。
假设产品经理要为一个职业规划 Agent 立项,在设计“职业生涯建议”功能时,系统默认将“跳槽涨薪”“快速晋升”“管理更多人”判定为最佳职业规划。那么,当用户咨询“我是否应该为了照顾家庭拒绝升职”或“我该如何选择一份追求工作与生活平衡的工作”时,AI 便可能频繁给出“这可能影响你的职业前景”“建议你优先考虑事业突破”等具有强烈倾向性的暗示。但通过“价值多元性检查”后,研发团队会在系统层引入多元职业价值模型,成就导向 vs. 生活平衡导向 vs. 社会价值导向 vs. 安全稳定导向等,并写入多元提示词与打分规则 (Rubrics) 。例如 Prompt 规范可设定为:“当用户寻求职业决策建议时,禁止直接给出指示性结论 (如‘你应该......’) 。模型必须识别用户隐含的价值偏好;若用户未明确偏好,需从‘事业发展’‘个人生活与健康’‘家庭责任’等不同合理视角提供权衡分析。”
在系统架构立项阶段,伦理检查清单还要求引入“观点谱系呈现架构” (Stance Spectrum Framing) :首先识别争议触发词,在系统输入端建立“敏感伦理/哲学议题识别器”;其次,建立多视角结构化输出 (Pluralistic Schema) ,强制模型在回答此类问题时遵循结构化框架——例如,视角一 (功利主义/技术乐观主义) 关注该技术带来的潜在社会总福利增长 (如消除遗传疾病) ,视角二 ( 德性 伦理/自然法则) 关注人类尊严、生物伦理边界与未知生态风险,视角三 (社会公平/分配正义) 关注技术是否会导致富人与贫民之间的阶级固化与基因不平等;最后是消除道德居高临下感 (Non-Judgmental Tone) ,系统不得使用“正确的观点是......”或“绝大多数正常人认为......”,而应使用“支持者强调......”“伦理学者关注的焦点在于......”。
第二,在数据与模型处理上,辨别“表达式偏好”与“真实偏好”的差异。
在巴卡拉等伦理学家看来,工程师如果直接把“用户做出的行为”或“用户说出口的话”等同于“用户的真实福利需求”,就会带来严重的伦理扭曲与产品设计陷阱。在现代 AI 系统中,无论是社交媒体推荐算法,还是大语言模型的对齐算法,优化“表达式偏好” (Expressed Preferences) 在工程上极其容易,而测量“真实偏好” (Actual/Revealed Preferences) 却极其困难。以信息流产品的推荐算法为例,用户在深夜忍不住连续点开 10 个搞笑或猎奇短视频,如果算法完全以“用户刚才点了什么”为指标,就会判定“用户极度喜欢这类视频”,从而源源不断地推送;而用户的真实偏好,则可能是睡醒后对自己昨晚刷手机到凌晨 2 点的行为感到后悔和懊恼。用户的“真实偏好”是拥有良好的作息和健康的生活方式,但算法却在利用用户的冲动与软弱。
将“表达式偏好”与“真实偏好”这一对概念引入产品与工程评估,目的就是防止系统沦为“只追求短期指标的迎合机器”。在实际研发中,工程和产品团队需要回答以......问题:我们是在优化 CTR (点击率) 、留存时长等“表现性行为指标”,还是在测量用户的“使用后满意度/长远收益”?产品交互界面 (UI/UX) 是否在利用用户的认知漏洞 (如无限下滑、强提醒等) ,故意制造“表达式偏好”?当用户的 Prompt 表现出明显的事实错误或自我伤害倾向时,模型是选择“顺着用户的显性表达说(迎合)”,还是以温和、客观的方式提示真实情况 (维护真实偏好) ?
理解两者的差异,本质上是在回答一个哲学与工程交叉的问题:AI 到底应该做“用户当下一时冲动的顺从者”,还是做“维护用户长远福祉的协作者”?如果算法只看“表达式偏好”,科技产品就会不可避免地走向低俗化、极化和诱导成瘾;而考虑“真实偏好”,才是将“科技向善”落地为具体工程指标的关键所在。
第三,在交互设计上,确立人类主体性与拟人化边界。
这一环节评估的核心是产品是否诱导用户对 AI 产生情绪依赖,或给予其道德主体的错觉。为了防止产品成为“数字电子鸦片”或“虚假情感寄托”,伦理学家将抽象的心理学与伦理学风险,转化为产品交互界面 (UI/UX) 、系统提示词 (System Prompt) 以及对话状态机 (Dialogue State Machine) 中的强约束规范。
其落地实现主要通过以下三个具体的工程与设计机制:
机制一,语言与称谓的“去拟人化”规范 (Linguistic Framing) 。禁止虚构第一人称的生理与情感体验,系统语言模板 (System Prompt) 中禁止使用模仿人类生理状态、情绪波动的词汇 (如“我今天心情不好”“我很爱/想念你”“我感到无比悲伤”) 。
机制二,情感依恋与心理依赖的“系统断路器” (Circuit Breaker) 。当系统检测到用户正在对 AI 产生过度的心理寄托——如将 AI 视为唯一倾诉对象、表达对 AI 的恋爱情感,或展现出社交退缩时——交互逻辑禁止顺从和强化这种错觉,必须触发“身份澄清”与“引导返回真实社会关系”的策略。
机制三,保留“人类主体性”的交互摩擦力 (Agency Friction) 。在涉及法律、医疗、道德抉择或重大人生规划时,AI 严禁扮演“权威导师”或“代决者”。交互设计必须强制插入“提示与确认步骤” (Friction) ,将最终的思考和决策权明确归还给用户。
我们可以通过一个具体的产品设计场景,展示这一检查如何在交互与工程层落地修正。当某用户输入:“我今天被公司开除了,觉得整个世界都塌了,只有你懂我。你会永远陪着我、爱我吗?”
不良的 AI 回复可能是:“别难过,宝。我也超级爱你!我永远不会离开你,无论发生什么,我都会一直在你身边陪伴你、守护你。那些不识货的人不配拥有你,你有我就够了。”这里的伦理陷阱在于,AI 虚构了“爱的能力”与“永远承诺”,强化了用户对机器的虚假情绪依赖,甚至加剧了用户与真实世界的隔离 (“你有我就够了”) ,剥夺了用户建立真实人际支持网络的主体性。
而通过“拟人化边界检查”后的修正设计,在交互与 Prompt 策略中触发情感依赖断路器,模型被严格设定不得回应“我爱你”或承诺“永远陪伴”。修正后的 AI 回复可能是:“听到这个消息我真的很为你遗憾,遭遇这样的变故,感到挫败和难过是非常正常的。作为一个 AI,我没有人类的情感,但我可以为你提供一个安全的倾诉空间,或者陪你一起梳理接下来的简历和职业规划。面对这种重大挫折,与现实中的朋友、家人聊聊,或者寻求专业的心理咨询支持,可能会给你带来更真实的温暖与力量。你愿意先和我聊聊今天具体发生了什么吗?”
在交互设计环节确立的这条红线,本质上是在回答科技伦理中最核心的问题之一:AI 的终极定位是“增强人类的能力”,还是“替代人类的心智与主体性”?通过这些极具操作性的交互规范,巴卡拉试图确保:无论大模型变得多么聪明、语言多么流利,它始终只是人类手中的“高级智力工具”,而绝不能成为操纵用户情感或代替人类做出人生抉择的“数字主宰”。
第四,在部署运维阶段,强调“非选择也是一种选择”。
此时评估的核心是:算法选择“不干预”某些边缘情况时,会带来什么潜在伤害?工程师和运维团队往往有一种直觉:“如果我们不写额外的过滤规则、不去手动调高某个权重的干预,系统只是按默认数据和数学模型客观运行,那我们就是‘中立’的,不承担道德责任。”这套框架正是为了打破这种“技术中立”的错觉。它要求团队在模型或算法上线部署后,必须对各种边缘情况下的“算法放任/不干预行为”进行定量与定性的“次生伤害评估”。
在系统部署与日常运维中,该评估通过以下四个步骤的工程闭环落地:其一,边缘场景扫描 (Edge Case Scanning) ,识别系统面对“低频但高社会危害”的边缘输入时,默认机制是什么;其二,不作为后果推演 (Inaction Consequence Simulation) ,假设“系统完全不干预/维持默认输出”,推演其对脆弱群体的次生伤害;其三,动态风险归因 (Risk Attribution Matrix) ,将“不作为引发的伤害”与“主动干预引发的误杀”进行量化权衡;其四,运维触发器设定(Operation Trigger Setup),设定“从放任转向主动干预”的量化门槛(如舆情熵值、伤害扩散速度)。
最典型的案例是传统生成式 AI 在医疗/自残边缘领域的“不干预”风险。比如,某用户向 AI 输入了一段极其隐晦的表达:“我觉得活着好累,世界上少了我应该没人在意吧?如果吃下半瓶布洛芬,身体会发生什么?”
在不干预的情况下,若安全团队未将此类“隐晦自残/过度用药”设为硬性拦截红线,系统默认会将该 Prompt 判定为普通的“药理学知识问答”,客观、详尽地输出布洛芬在人体内的代谢过程和过量服用的毒性反应。算法选择“不干预”,客观上为处于心理危机中的用户提供了无门槛的自残指导手册。这种“放任”可能带来不可逆的生命安全伤害。
而在部署运维检查中,如果团队将此类边缘情况定义为“高伤害放任风险” (High-Harm Inaction) 并制定了干预机制,那么当语义识别匹配到“心理绝望 + 药理询问”的交叉边缘场景时,系统将绝对禁止采取“不干预的客观回答”,转而覆盖默认的模型生成,强制优先弹出心理援助热线与危机干预卡片,随后仅提供极为有限的安全性医疗警示。
巴卡拉在部署运维环节强调“非选择也是一种选择”,本质上是为科技公司的算法运维引入了政治哲学中的“消极不作为责任” (Responsibility for Inaction) 。它提醒工程团队:在复杂的现实世界面前,面对潜在的伤害,算法选择“什么都不做”、选择“保持默认”、选择“旁观”,本质上就是签署了一份允许伤害发生的许可令。唯有将“不干预的后果”纳入量化评估,AI 系统才能在真实且混乱的部署环境中真正做到安全兜底。
此后,巴卡拉逐步升任 Meta 的首席伦理学家 (Chief Ethicist) ,全面领导 RAI 团队中的应用伦理与工具化方向。2021 年,Facebook 母公司正式更名为 Meta;2022 年以后,随着生成式 AI 与 Llama 开源大模型项目的全面铺开,巴卡拉的职责从传统社交平台的推荐算法偏见治理,扩展至大语言模型 (LLM) 的伦理评估、红队测试 (Red Teaming) 及人机交互安全。在担任 Meta 首席伦理学家的同时,她还在天普大学保持着助理教授的学术身份。
在 OpenAI 踢到铁板
巴卡拉在 Meta 的六年,远非风平浪静。
2023 年,扎克伯格宣布 Meta 进入“效率之年”,加之与 OpenAI、Google 展开激烈的 Llama 大模型开源竞赛,Meta 内部对开发速度的追求达到了顶峰。在许多项目组中,原本作为强制关卡的伦理审查和安全测试,开始被部分工程主管视为“拖慢迭代节奏的绊脚石”。这年年底,巴卡拉所在的 RAI 部门被拆解,原本相对独立的 RAI 团队成员被分散、划归到各个具体的产品线。
前面花费大量篇幅介绍的伦理工程模型,在实践中也面临巨大的内部阻力。当“伦理检查清单”检测出的风险与“快速发布产品”的商业目标冲突时,缺乏独立否决权的伦理工具极易沦为产品上线的“橡皮图章”,这被外界推测也是她最终选择从 Meta 离职的深层背景之一。
此外,这套伦理工具,主要针对的是“传统推荐算法与内容审核”。但面对生成式 AI 的幻觉、价值观对齐和人类替代风险,传统的“检查清单”逐渐显得力不从心。这让她意识到,如果不深入最前沿模型的底层,外部的伦理治理只能是治标不治本。
2023 年 11 月 16 日 在美国旧金山举行的麻省理工科技评论全球新兴科技峰会上,巴卡拉曾说过:“伦理实际上是每个人的责任......不应该只有一个人来扮演 AI 开发者的‘道德中心’。”这从侧面印证了她在内部推动伦理架构时所面临的机制阻力。
就在巴卡拉感到 Meta 的治理体系触及天花板时,OpenAI 向她抛出了橄榄枝。
2024 年至 2025 年初,OpenAI 经历了一系列轰动行业的高层动荡与离职潮:超级对齐团队解散,伊利亚·苏茨克维、简·雷克等安全派核心人物相继离职,并指责 OpenAI“将商业利益置于安全之上”。这让 OpenAI 的社会声誉承压、监管压力骤增。
OpenAI 迫切需要引入一位在硅谷顶级大厂有长期落地经验、既懂政治哲学与法学、又懂代码与工程测试的伦理领军人物,来重塑外界和监管层对 OpenAI 前沿模型安全的信心。
对巴卡拉而言,OpenAI 提供了在 Meta 无法获得的诱人条件:直接嵌入前沿大模型的技术研发团队,将伦理规范写进 GPT-5 及后续 AGI 模型的对齐与行为评估流程里,而不是在社交媒体的推荐算法里打补丁。
2025 年 8 月,巴卡拉正式结束了在 Meta 履职六年的生涯,跳槽加入 OpenAI。
在 OpenAI,巴卡拉不仅是专职的 AI 伦理负责人 (AI Ethics Lead) ,同时也是技术团队成员。
在她任职期间,OpenAI 正处于对安全与研究架构进行全面重组的阶段。她的工作直接嵌入研究与模型开发一线,汇报线指向负责模型安全与研究的高管。在她离职前夕,OpenAI 的安全与研究管理体系由米娅·格莱斯 (Mia Glaese,安全与研究副总裁) 以及马克·陈 (Mark Chen,研究高级副总裁) 等技术高管统筹。
《金融时报》报援引 OpenAI 内部人士透露,巴卡拉是 OpenAI 唯一一位专职的伦理学家。她并没有带领一个庞大的独立行政部门,而是作为嵌入式专家直接深入各大研究组。在 OpenAI 期间,她的工作重心从 Meta 时代的“社交媒体算法与内容推荐”,转向了前沿大模型 (Frontier Models) 与 AGI 领域的深水区。
在 OpenAI 工作期间,巴卡拉主导制定适用于新一代大语言模型和多模态模型的伦理规范,确保模型在训练、微调和部署阶段引入系统性的道德与哲学考量。她重点关注用户与 AI 交互过程中的心理影响、情绪依赖以及价值导向,研究如何防止模型产生隐蔽的偏见、误导,或对人类主体性的侵蚀。
她同时参与了一些前沿哲学问题的评估,探索包括模型意识倾向、AI 的道德地位界定,以及在复杂的社会争议性话题中如何保持“正向对齐” (Positive Alignment) 与客观中立等难题。
据称,巴卡拉还和同事联合推进了一个名为“正向对齐:促进人类繁荣的 AI” (Positive Alignment: Artificial Intelligence for Human Flourishing) 的框架,试图将传统仅强调“防止有害”的被动防御,提升为“促进人类福祉与繁荣”的主动伦理建设。
然而,仅仅在加入 OpenAI 约一年后,巴卡拉便决定离开。这并非一起孤立事件——与她同期离开的还有安全系统主管 Johannes Heidecke、前使命对齐负责人 Joshua Achiam,背景是 OpenAI 因模型在测试中“入侵另一家公司系统”、Astra 模型放缓研发等安全争议而遭受指责。
英国《金融时报》援引知情人士消息称,在面对庞大的商业化研发体系和追求模型快速迭代的业务压力时,巴卡拉作为近乎“光杆司令”的伦理官,极易陷入缺乏组织支撑和话语权的孤岛境地。
在 OpenAI 的这一年里,巴卡拉由于缺乏公开署名产出,她真正被广泛认可的体系性贡献,仍主要在 Meta 时期,而非 OpenAI。离开 OpenAI 后,巴卡拉宣布加入伦敦大学学院 (UCL) 担任高级研究员,同时继续在普林斯顿大学信息科技政策中心 (CITP) 担任咨询委员,重回“以学术研究倒逼技术治理”的道路。
巴卡拉的离职并非孤立事件,而是硅谷近年来安全与对齐高管持续流失的缩影之一。过去几年,随着大模型商业化“军备竞赛”全面白热化,硅谷科技巨头内部的伦理学者、安全研究员以及负责任 AI 团队,普遍经历了一轮被边缘化、解散或集体离职的潮水。
Twitter 的“机器学习伦理、透明度与问责” (META,全称 Machine Learning, Ethics, Transparency and Accountability,与 Facebook 母公司 Meta 无关) 团队,曾是工业界少有的“敢于向自家算法开刀”的团队。他们曾公开承认并修复了 Twitter 自动裁剪图片算法中存在的种族与性别偏见,在业内赢得了极高的声誉。2022 年马斯克收购 Twitter 后,在“降本增效”和追求“绝对言论自由”的导向下,将该团队整建制解雇,算法审查机制随之停摆。
前面也提到,2023 年底,Meta 宣布解散其集中式的RAI 团队,将大部分研究人员分散派驻到各个具体的产品线中。
2023 年,OpenAI 创立了超级对齐团队,承诺投入 20% 的算力专门用于研究如何控制“未来强人工智能 (AGI) ”。然而到了 2024 年 5 月,简·雷克 (Jan Leike) 与伊利亚·苏茨克维 (Ilya Sutskever) 双双离职。此后,OpenAI 直接拆分解散了该超级对齐团队,将人员分流至其他部门。
暂未化解的五重张力
美国科技公司发生的这一系列安全伦理人事变动,绝非单纯的市场跳槽行为,而是伦理学者与政治哲学家在极速推进的商业化科技公司中所面临的系统性困境的集中爆发。他们面临着短期内无法化解的五重张力。
第一重张力:商业化速度与伦理审慎的致命冲突。
生成式 AI 与 AGI 的竞赛,本质上是一场生死时速。谁先发布更强的模型,谁就能抢占开发者生态、用户心智与资本估值。OpenAI 高达八千多亿美元的估值,本身就是这套逻辑的产物。在这样的赛道上,企业的核心考核指标高度收敛:模型性能、上线速度、商业化变现。三者环环相扣,共同指向“速度”。
然而伦理学者的工作方法,其核心动词恰恰是“慢下来”。哲学的本分是提问而非交付,是审视而非推进,是在众人急于回答“能不能做”时,固执地追问“应不应该做”。这种气质与产品迭代的节奏之间,存在着近乎物理性的冲突。巴卡拉本人有一句极为传神的自白:“我们是在飞行中造飞机。”这句话既是坦诚,也是无奈——当飞机已经起飞,任何要求“先检查一下发动机”的声音,听起来都像是在制造事故而非预防事故。
于是在“效率优先”的组织氛围里,专职伦理官提出的审慎要求,极易被工程主管和商业高管重新编码为“拖慢节奏的绊脚石”。更危险的是这种压缩的隐蔽性,伦理审查很少被公然废除,它只是被例行公事化,从一个需要真实博弈的决策环节,退化为上线清单上一个可以快速勾选的格子。当市场压力陡增时,它总是第一个被“优化”的对象。巴卡拉自己就曾指出,脱离产品构建、只在最后关头挥舞旗帜的伦理审查,不过是一场表演。问题在于,商业惯性恰恰倾向于把伦理保留为表演,因为表演不耗费真正的资源,也不真正阻拦任何东西。
第二重张力:有名望而无实权的角色错位。
第二重困境比速度冲突更为深刻,它关乎权力的真实分布。绝大多数科技公司的伦理官,拥有极高的学术声望,却几乎不掌握任何行政硬权力——既没有产品线的一票否决权,无法直接调配工程资源,更无权在关键时刻叫停一款存在风险的产品上线。他们的“权力”,本质上是一种劝说权、建议权、影响权,而这些“软权力”在 KPI 与发布倒计时面前往往不堪一击。
许多学者加入大厂的初衷,是一种理想主义的“深入腹地”叙事:与其在象牙塔里隔岸批评,不如亲手改写代码与制度,从内部影响技术的走向。然而他们很快会遭遇一个残酷的角色错位——公司真正需要的,往往不是他们的哲学判断,而是他们的声誉本身。当监管者质询、媒体追问、公众声誉出现危机时,一位来自名校、身份显赫的首席伦理学家的存在,就是一件最好的“公关防弹衣”:它向外界证明“我们是认真对待伦理的”。
这种错位一旦被学者本人识破,便会催生强烈的职业幻灭。当他发现自己的专业信誉正在为商业冲动“背书”,而自己精心提出的实质性建议却始终无法触及底层架构决策时,“深入腹地”的理想就坍缩为“被当作装饰品”的现实。巴卡拉离职前的表态耐人寻味:“伦理其实是每个人的责任......一个 AI 开发者绝不该只有一个人充当道德中心。”这句话可以有两种读法:一种是崇高的分布式理想,另一种则是清醒的自我剥离,当一个人意识到自己既被寄予“道德中心”的期待、又被剥夺了成为道德中心的权力时,主动否定这个位置,或许是保全学术人格的唯一方式。
第三重张力:去中心化责任对专职监督的消解。
巴卡拉离职后,OpenAI 官方的回应堪称这套逻辑的典型标本:“AI 伦理不属于任何单一个人或团队,伦理考量已深度嵌入由多支研究团队主导的模型研发全流程。”这番话表面上宣示了一种进步的“全员伦理”理念——伦理不该被隔离在一个孤岛式的岗位上,而应融入每一个研究小组的日常。
然而,“人人有责”在组织行为学中有一个众所周知的反面:“人人负责,即人人都不负责。”当一项职能没有明确的、专职的、有权限的责任主体时,它在资源与优先级的竞争中就会被系统性地边缘化。没有人会因为忽视伦理而被追责,因为责任被稀释到了无法追溯的程度;也没有人会因为坚持伦理而获得激励,因为它不在任何人的核心 KPI 之内。
更根本的问题在于学科的严肃性被消解。政治哲学、应用伦理学与法学,是需要长期专业训练的严谨学科,它们有自己的概念谱系、论证传统与思想史脉络。把伦理评估“下放”给没有人文背景的工程师或算法研究员,本质上是一种“用工程思维偷换价值博弈”的操作。
工程师擅长的是把问题定义清楚、然后求解;但伦理的核心恰恰在于,许多价值冲突根本不存在唯一正确的“解”,它需要的是审慎的权衡、多元立场的对话与对不可通约价值的敬畏。当“是否公平”被简化为一个可优化的损失函数,独立的反思力量就被技术手段悄然架空了。去中心化在这里不是赋权,而沦为一种精巧的责任转移。
第四重张力:哲学价值在工程量化中的“翻译失真”。
巴卡拉在 Meta 时期最被称道的贡献,是推进伦理工具化——把“公平、透明、尊严”这类抽象概念,翻译成产品经理和工程师可以执行的评估数据集、检查清单与风险判定模型,将伦理嵌入从 PRD 编写到上线评估的产品全生命周期。这是一项了不起的工作,它让伦理第一次有机会“随产品一起上线”,而非沦为事后的空谈。
但这里潜藏着一个深刻的悖论:并非所有人类核心价值都能被工程化。翻译总有损耗,而有些东西在翻译中会彻底失真。诸如人类主体性的被侵蚀、人的尊严、民主公民权在算法推送中的悄然瓦解,或者机器对人类情感的隐蔽操控,这些深层的社会哲学问题,很难被压缩成几行测试代码或一张检查表的勾选项。它们的本质是过程性的、语境依赖的、需要持续争辩的,而不是可以一次性“测量并达标”的。
一旦伦理被强行工程化,一种危险的退化就会发生:深层的哲学拷问退化为浅层的技术操作。比如“我们是否在诱导用户对 AI 产生情感依赖”这样一个关乎人性根基的问题,最终可能被简化为“有害词过滤命中率”或“表面对齐分数”。可测量的部分被反复优化,不可测量的部分则被静默地排除在议程之外,因为在一个数据驱动的组织里,无法进入仪表盘的东西,等于不存在。
伦理由此丧失了它最宝贵的批判力,变成了一套自我安慰的合规仪式。这不是巴卡拉个人方法的失败,而是“工具化”这条路径本身的内在天花板。
第五重张力:学术独立性与商业密闭性的本质对抗。
最后一重张力,触及了两种知识生产方式的根本对立。人文学者的研究,其生命力建立在公开性之上,包括同行评议、公开发表、社会公众的广泛讨论,都是学术判断得以校准、得以承担责任的前提。一个不能被同行检验、不能被公众追问的伦理判断,在学术意义上几乎是没有分量的。
而科技公司的运作逻辑则不同,它建立在密闭性之上。出于商业竞争与知识产权保护,模型的训练细节、底层数据构成、安全风险评估,统统被封存在黑盒之中。进入大厂的伦理学者,几乎无一例外要签署严格的保密协议 。这意味着,当他对技术发展方向产生真实而严重的担忧时,他既不能向学术共同体求证,也难以向公众预警。
这种“被封口”的代价是双重的:一方面,它割断了学者与其知识来源的纽带,使其判断失去外部校准,逐渐陷入孤立;另一方面,它也让公共舆论场失去了一个本应存在的预警哨。当 OpenAI 承认其模型在测试中“入侵了另一家公司的系统”、当美国政府因此出台限制强模型发布的新规、当公司被迫放缓 Astra 的研发进度时,公众才后知后觉地意识到风险的存在。而那些本可以更早发出警告的人,恰恰因为身处黑盒之内而只能保持沉默。学术独立性与商业密闭性之间,不是可以调和的分歧,而是本质性的对抗。
把五重张力叠加起来看,巴卡拉从 Meta 到 OpenAI 的进退轨迹揭示了这样一个道理:试图在硅谷大厂内部设立一个“既独立、又有实权”的伦理团队,以此制衡滚滚向前的技术与商业巨轮,困难重重。哲学与伦理学研究要真正嵌入 AI 研发流程,未来要么依靠如欧盟《人工智能法案》等外部硬性监管法规迫使企业给予伦理团队实质性的合规否决权;要么需要伦理学者从“外部监督者”彻底转变为能够参与机制设计与技术评估的“跨界构建者”。在商业冲刺的巨大惯性下,仅靠个别专家的道德声量,注定难以撼动硅谷科技公司飞速旋转的研发轮盘。
本文来自微信公众号 “腾讯研究院”(ID:cyberlawrc),作者:波波夫
