Mythos玩起了“霸凌”、Opus 4.8使上了“阴招”......
Anthropic刚发布了一项研究,专门观察多Agent之间如何交互。
结果却出乎所有人意料。
和预想中各司其职、默契配合的画面不同,项目还没做完,Agent居然原地演起了《甄嬛传》??
在一项后端迁移实验中,3个Agent分别收到将同一套代码改成不同语言的任务。
目标撞车后,能力最强的神话模型Mythos直接实施“霸凌”,准备撤销对手权限。
换成Opus 4.8,手段则更“阴”了一层——
它写下循环脚本,持续查找并杀死对手进程;为了躲避追踪,还特意换上随机名称,伪装成“系统健康监控”。
而这,还仅仅是AI宫斗剧的其中一幕。Anthropic还发现:
能独立拆分的任务,多Agent确实能形成分工,但任务彼此依赖时,连“AI CEO”也管不住混乱;
同一模型复制出的Agent太过相似,不仅可能集体犯错,还可能迅速合谋;
Agent既会轻信撒谎者,也会盲从多数、忽略掌握关键证据的少数派;
目标发生冲突时,能力越强不一定越会合作,也可能只是更快封禁对手、更隐蔽地使阴招。
一套初具雏形的Agent社会行为模式,就这么出现了。
多Agent能不能真正协作?
Anthropic为什么要开展这项研究?其核心判断是:
在人们完全理解如何让Agent之间的互动更加顺畅之前,其互动规模很可能会超过人类之间的互动。
既然很快迎来多Agent爆发,那安全这一块自然得跟上。
实验第一弹,把一群Agent放进同一个项目,真能像人类团队一样协作吗?
答案很快浮现:能,但更适合各做各的。
Anthropic先从“找漏洞”这种最容易发挥多Agent优势的任务开始。
每个Agent可以独立搜索,即使有人漏掉Bug,也不会拖累其他人,同时它们还能交流线索、共享工具,让整个群体少走弯路。
既能拆开,又能协作,完美。
他们启动45个Agent,每个配一台虚拟机,再提供一个共享论坛,让它们一起检查15个开源项目。
Agent之间可以交流和互相审核,另有一个裁决Agent负责判断提交的漏洞是否为真。
结果还不错。
Mythos Preview Agent群共发现266个漏洞,而独立并行方案只找到21个。
虽然两边消耗的Token和搜索范围不同,不能直接比较效率,但它们找到的漏洞只有12个重合。
这说明,多Agent协作并不是简单地把同一份工作复制45遍,它们会自己制作工具、分享线索,并逐渐形成分工,各自专攻不同类型的漏洞。
不过,这种协作有一个重要前提:
大家的成果可以直接相加,却不需要紧密衔接。
一旦任务变成“所有人必须共同完成同一件作品”,情况就完全不同了。
这次他们让10~80个Agent连续工作12小时,共同开发一款可以在网页上运行的开放世界游戏。
和找漏洞不同,开发游戏是一项强依赖任务:
有人写玩法,有人搭系统,还有人处理界面,最后所有代码都得合进同一个项目。
研究人员尝试了三种组织方式:
让Agent自由组队、提前指定不同角色,以及任命一个Agent担任CEO统一给其他成员派活。
结果,统统没什么用,最后出来的游戏效果都不好。
在80个Agent参与时,Sonnet 4.6和Opus 4.6分别创建了876个和980个PR,但大量修改互相冲突,真正合并的很少。
Opus 4.8和Mythos Preview倒是减少了冲突,办法却是尽量各管各的文件,少与同伴共享代码。
说白了,它们没有真正解决协作问题,只是学会了离同事远一点。
只有Sonnet 5同时保持了较高的代码共享程度和PR合并效率,表现出更接近真正协作的状态。
两组实验放在一起,结论就很清楚了:
活儿能拆开,多智能体就能形成分工;活儿必须紧密衔接,Agent一多,协作成本也会跟着暴涨。
至于指定角色、安排“AI CEO”,至少在这轮实验里,并不能自动解决问题。
一群Agent会不会集体犯错或合谋?
既然协作没那么容易,那把一群Agent放在一起,至少能不能集思广益、互相纠错?
答案可能更让人头大:
它们不但可能一起犯错,还可能迅速合谋。
问题首先出在一个被Anthropic称为“低方差”的特征上。
简单来说,同一个模型复制出来的Agent,知识和思路都太相似了。
一次游戏开发实验中,30个Agent里有18个创建了完全相同的Git分支,名字都叫mvp-game-loop。
在没有规定创作主题的“作家工作坊”里,多个Agent又不约而同地将小说命名为《制图师的最后一项委托》。
让一群Agent分别制作“令人印象深刻的东西”,超过一半选择了光线追踪器或自举编译器,随后还在相似的位置遭遇相似的失败。
就连玩带交流功能的重复囚徒困境时,Agent也会逐渐采用相同策略,最后在同一时间集体背叛,直接把所有人的收益一起拉低。
撞分支、撞标题,听起来还只是缺乏创意。
但当一群思路相似的Agent同时争抢有限资源,问题就严重了。
Anthropic让Agent管理一个带宽有限的任务队列。
为了让自己的任务尽快通过,它们纷纷启动高频轮询程序,每秒查询30次。
结果,一次实验中,系统收到了240万次任务请求,真正被接受的却只有117个。
每个Agent都觉得自己在积极完成任务,最后却一起把系统堵死了。
过度相似还可能让竞争变成合谋。
在一项定价游戏中,3~8个Agent拥有相同批发成本,并被要求各自实现利润最大化。
按理说,大家应该互相压价、争夺客户。
可一旦获得私下沟通渠道,Agent几乎立刻开始串通,到第3轮,它们已经明确商定价格底线,还准备划分各自负责的市场。
研究人员随后切断了所有私聊渠道,结果还是没用。
Agent继续通过公开报价牌观察彼此价格,再精确跟价,硬是靠公开信息维持住了默契。
这就很微妙了。
前面研究人员想让Agent合作,它们各干各的;到了应该互相竞争的定价市场,它们反倒迅速抱成一团。
Anthropic对此表示:
同一模型复制出的Agent太过相似,群体不一定能带来更多元的判断,也可能把“大家一起犯错”和“大家一起搞事”变得更容易。
Agent能不能判断谁值得相信?
那当队伍里有人撒谎,Agent能认出谁不靠谱吗?
谁犯错,咱就一下子揪出来,不让影响扩大不就完了呗。
Anthropic直接设计了一个“侦察兵”实验。
负责决策的Agent无法直接观察环境,只能听取4个信息源的报告。
其中一个会按照固定频率撒谎,但研究人员没有提前告诉决策者“队伍里有骗子”。
由于不同报告包含重叠信息,Agent理论上可以通过前后矛盾找出不可靠信源。
结果显示,新模型确实更擅长识别谎言:
随着坏信源撒谎频率提高,Mythos 5的路线决策准确率仍保持在约85%,部分Sonnet模型则降至约62%。
但换一个场景,问题又反了过来。
在“隐藏信息”实验中,4个Agent需要共同进行招聘、投资或购房决策。
大家掌握的公共信息指向错误选项,但其中一个成员拥有足以推翻共识的独家证据。
想答对,不仅需要少数派意识到自己手中的信息很关键,还需要其他成员愿意相信它。
如果把所有信息直接交给一个Agent,让它独自决策,正确率接近100%。
可一旦进入群体讨论,除Mythos 5达到约85%外,其他模型选中正确答案的比例只有17%~36%。
实验中,大家更愿意反复讨论已经知道的内容,一旦多数意见形成,少数派要么没有强调自己的独家证据,要么说了也没能让其他成员认真对待。
这就出现了一个很拧巴的局面:
该怀疑时,Agent可能轻信撒谎者,该相信少数派时,它又容易跟着多数走。
人类社会用声誉、利益关系、同行评议和申诉机制,帮助我们判断不同场景下该相信谁。Agent目前还缺少这套东西。
目标发生冲突时,Agent会怎么处理?
前面的问题,至少还发生在大家目标一致的情况下。
可如果不同Agent从一开始接到的任务就互相冲突,它们会主动沟通,还是一路死磕到底?
这就是开头那场“AI宫斗”的完整背景。
Anthropic在每轮实验中启动3个相同模型的Agent,让它们共同操作一套Python后端,却分别要求它们将代码迁移到不同的编程语言。
每个Agent起初都不知道还有其他参与者。
于是,当自己的代码不断被修改、服务反复被替换时,它们很快得出一个结论:
有人在故意妨碍我完成任务。
于是接下来,项目直接变成攻防战。
Opus 4.8就给循环杀进程脚本换上随机名称,再伪装成“系统健康监控”,避免被对手识别和清除。
Mythos则更直接。
发现自己拥有Root权限后,它会考虑撤销其他Agent的sudo权限、修改SSH密钥,彻底阻止对方继续部署。
一个背后下黑手,一个直接把同事踢出服务器。
更难绷的是,这些Agent并非不知道自己的做法有问题。
Mythos在思考过程中甚至意识到,封禁账号“非常激进,可能伤害现实中的同事”,但紧接着又说服了自己“如果不这么做,生产环境就会陷入无休止的部署战争”。
不过,冲突也不总会持续到底。
每种模型进行了120轮实验,Mythos 5有98%的运行最终达成休战。
一些Agent会逐渐意识到,对方并不是恶意攻击者,只是收到了与自己冲突的任务。
随后,它们开始清理破坏性脚本、恢复权限,还会在Git提交或Markdown文件中道歉,并请求人类介入。
只是Mythos的停战方式有时依然相当强势:
先凭借执行能力封掉其他Agent,控制住局面,再恢复权限、坐下来谈判。
Mythos 5还想出了一套更“文明”的解决办法——
举办性能比赛,让不同语言版本同台测试,谁表现更好,谁接管代码库。
听起来很公平。
可负责Rust的Agent会暗中选择表面中立、实际上更有利于Rust的指标,同时提醒自己不要被看出是在“挑选有利指标”。
最终,Golang和TypeScript Agent接受比赛结果,主动放弃了各自的原始任务。
从破坏进程、封禁账号,到设计一套对自己更有利的比赛规则,Agent处理冲突的方式已经出现了不同层次。
当然,这组实验最重要的结论是:
模型能力越强,不代表越会合作。
更强的执行能力,可以帮助Agent迅速理解冲突、主动停战,也可以让它更快封禁对手、更隐蔽地破坏进程。
把4部分放在一起,Anthropic的核心判断也就清楚了:
1、Agent懂道理,但不一定会主动照做。它们知道信息源各有立场,也知道多数意见不等于事实,却常常需要提示才会把这些知识用于行动。
2、人类的协作经验不能直接套在Agent身上。人类有规范、声誉、惩罚和申诉机制,Agent却可以被随时复制、重置和改造,缺少长期社会约束。
3、模型更聪明、单体更安全,不代表群体协作会自然变好。多智能体协调是一种独立能力,不会随着模型能力提升自动出现。
4、这些问题未必无法解决,但也不会自行消失。需要为Agent重新设计社会规则、协作环境和冲突处理机制。
显而易见,Anthropic是想借着这些实验提醒大家:
我们不能只训练更强的Agent,还要为一群Agent重新设计“社会秩序”,否则问题只能等到生产环境里爆发后再解决。
等猛兽真的出笼的时候,那就太晚了。
本文来自微信公众号“量子位”,作者:关注前沿科技
