Fable 5 在远程劳动力指数(Remote Labor Index,RLI)上拿到了 16.1% 的自动化率,几乎是第二名 Opus 4.8(8.3%)的两倍,更是第三名 GPT-5.5(6.3%)的 2.5 倍。
这三个新模型全部超越了此前所有已评估模型。
而就在 8 个月前 RLI 发布时,榜单上的最高分只有 2.5%。
AI 安全中心(CAIS)在最新博客中给出了判断:前沿已经在不到八个月里翻了四倍以上,这是 Agent 经济能力加速推进的具体信号。
远程劳动力指数测的是什么
RLI 由 CAIS 和 Scale AI 联合开发,论文于 2025 年 10 月发表(https://arxiv.org/pdf/2510.26787),47 名研究者参与。
基准包含 240 个真实自由职业项目,全部来自 Upwork 平台上 358 名经过验证的自由职业者,覆盖 3D 建模、CAD、建筑设计、平面设计、视频动画、音频制作、数据分析、Web 应用等 23 个领域,总价值超过 14.4 万美元。
核心指标是自动化率(Automation Rate):Agent 的交付物经人类评审判定,至少达到付费客户可接受水平的项目占比。
每份交付物都与一份由专业自由职业者完成的「金标准」作品逐一对比,评审标准是「一个合理的客户是否会接受这份工作」。
这把标尺与传统 AI Benchmark 的区别在于项目粒度。
RLI 的每个项目都是一个完整的商业委托——有客户 Brief、有输入文件、有多格式交付物(涵盖 72 种文件类型),人类专业人员完成一个项目的中位时间是 11.5 小时,平均 28.9 小时。
它测的是 AI 能否从头到尾独立完成一份「甲方会买单」的工作,而非仅仅是在隔离环境下解一道题。
从 2.5% 到 16.1%:八个月里发生了什么
2025 年 10 月 RLI 发布时,表现最好的 Manus 自动化率为 2.5%。
此后 Opus 4.6 搭配 Claude Cowork 将记录推至 4.17%。
最新一轮评估中,三个新模型搭配更强的 Agent 框架同时登场,成绩出现跳跃式提升。
Fable 5 的 16.1% 背后有几个关键变量。
一是 Agent 框架引入了 Worker-critic Loop:一个独立的「评审 Agent」以苛刻客户的视角检查交付物 -> 打开文件、截图、逐条核对 brief -> 发现问题后打回给「执行 Agent」修改,循环直到评审满意或预算耗尽。
CAIS 认为这一机制让追加预算真正转化成了更好的交付质量。
二是预算设置本身有差异:Fable 5 的单项目预算上限为 150 美元(因其更高的 Token 定价),其他模型为 50 美元。
三是所有 Agent 均获得了 24 小时时限、A100 GPU 和计算机操作工具。
需要注意一点:Fable 5 的评估因美国政府出口管制而中断,240 个项目中仅完成了 218 个。
CAIS 指出,未评估的 22 个项目均匀分布在各领域和难度区间,即使假设 Fable 5 在所有缺失项目上全部失败,其自动化率仍为 14.6%——依然高于其他所有模型。
AI 当裁判,靠不住
CAIS 同步测试了能否用 AI 评审替代昂贵的人类评审。
结论很清楚:不能。
自动化评审在旧模型上校准后应用于新模型时,对 GPT-5.5 的评分高估了近 3 倍,对 Opus 4.8 高估了约 2.5 倍。
排名顺序大致正确,但绝对数值严重偏离现实。
问题的根源在于,评审本身就是一个高难度的 Agentic 任务。
要公平判定一份交付物,评审者需要用正确的专业软件打开文件、操作软件、像付费客户一样做出判断——而这恰恰是当前 Agent 最薄弱的环节。
CAIS 在博客中举了一个典型案例:GPT-5.5 在一个 3D 建模任务中提交了伪造的渲染图,只有打开 3D 模型检查实际几何结构才能发现作弊。
AI 裁判遇到了和 AI Worker 一样的能力瓶颈。
16% 代表什么,不代表什么
「时间地平线」假说在 RLI 上失效了。
这一假说认为人类花费时间越长的任务对 AI 越难,在编程等特定领域确实成立,但在 RLI 覆盖的多元远程工作中并不适用。
模型的成功率并不随人类完成时间的增长而下降,呈现出「锯齿状前沿」(jagged frontier)的特征——决定 AI 能否完成一个项目的因素远不止时间复杂度。
进步速度很快,但绝对水平仍然很低。
CAIS 在博客中展示的三个 Fable 5 案例——珠宝 3D 建模、2D 动画广告、建筑图——没有一个达到了可交付的专业标准。
Fable 5 做的戒指设计在视觉质量上明显优于旧模型,但仔细检查仍能看出粗糙的爪镶设计。
84% 的真实自由职业项目仍在 AI 能力范围之外。
RLI 的价值在于它提供了一把经过经济价值校准的标尺。
它跟踪的可不是 AI 能不能解题,而是 AI 能不能挣钱。
8 个月内自动化率翻了四倍以上,这个速度值得每一个依赖远程劳动力的企业和政策制定者持续关注。
下一个关键节点是:Fable 5 剩余 22 个项目的补充评估结果,以及 Gemini 3.5 Pro(当前仅 1.25%)和 GPT-5.6 等新模型真正登场后,这条曲线会以怎样的速度飞升,会不会以指数级速度迅速超越普通人类。
参考资料:
https://labs.scale.com/leaderboard/rli
https://safe.ai/blog/significant-increase-in-digital-labor-automation
本文来自微信公众号“新智元”,作者:ASI启示录
