Fable 5 получил показатель автоматизации 16.1% в индексе удалённой рабочей силы (Remote Labor Index, RLI), что почти в два раза выше, чем у второго места Opus 4.8 (8.3%), и в 2.5 раза выше, чем у третьего места GPT-5.5 (6.3%).
Все три новые модели превзошли все ранее оцененные модели.
А всего 8 месяцев назад, когда был опубликован индекс RLI, максимальный балл в рейтинге составлял всего 2.5%.
Центр безопасности ИИ (CAIS) в своём последнем блоге дал следующую оценку: менее чем за восемь месяцев возможности передовых моделей увеличились более чем в четыре раза — это конкретный сигнал об ускорении развития способностей агентской экономики.
Что измеряет индекс удалённой рабочей силы
RLI был совместно разработан CAIS и Scale AI, статья была опубликована в октябре 2025 года (https://arxiv.org/pdf/2510.26787), в работе участвовали 47 исследователей.
Бенчмарк включает 240 реальных проектов для фрилансеров, все с платформы Upwork от 358 проверенных фрилансеров, охватывающих 23 области, включая 3D-моделирование, CAD, архитектурное проектирование, графический дизайн, видеоанимацию, аудиопроизводство, анализ данных, веб-приложения и т. д. Общая стоимость превышает 144 тысячи долларов США.
Ключевым показателем является уровень автоматизации (Automation Rate): доля проектов, результаты работы агента по которым после оценки человеком были признаны как минимум приемлемыми для платящего клиента.
Каждая работа сравнивалась с «золотым стандартом» — работой, выполненной профессиональным фрилансером. Критерием оценки было: «принял бы разумный клиент эту работу».
Этот критерий отличается от традиционных AI Benchmark масштабом проекта.
Каждый проект в RLI — это полноценное коммерческое задание: есть брифинг клиента, есть входные файлы, есть результаты в нескольких форматах (охватывает 72 типа файлов). Медианное время выполнения проекта человеком-профессионалом составляет 11.5 часов, среднее — 28.9 часов.
Он измеряет, может ли ИИ самостоятельно от начала до конца выполнить работу, за которую «заказчик заплатит», а не просто решить изолированную задачу.
С 2.5% до 16.1%: что произошло за восемь месяцев
Когда RLI был опубликован в октябре 2025 года, лучший результат у модели Manus составлял 2.5%.
Позже Opus 4.6 в связке с Claude Cowork поднял рекорд до 4.17%.
В последнем раунде оценки одновременно появились три новые модели в связке с более мощными агентскими фреймворками, и результаты резко выросли.
За результатом Fable 5 в 16.1% стоит несколько ключевых переменных.
Во-первых, в агентский фреймворк был внедрён цикл Worker-critic Loop: независимый «агент-оценщик» с точки зрения требовательного клиента проверяет результат -> открывает файлы, делает скриншоты, сверяет с брифингом пункт за пунктом -> при обнаружении проблем отправляет на доработку «исполняющему агенту», цикл повторяется до удовлетворения оценщика или исчерпания бюджета.
CAIS считает, что этот механизм действительно превращает дополнительный бюджет в лучшее качество работы.
Во-вторых, сама настройка бюджета была разной: лимит бюджета на один проект для Fable 5 составлял 150 долларов (из-за более высокой стоимости токенов), для других моделей — 50 долларов.
В-третьих, все агенты имели лимит времени 24 часа, доступ к GPU A100 и инструменты для работы с компьютером.
Важно отметить: оценка Fable 5 была прервана из-за экспортных ограничений правительства США, из 240 проектов было завершено только 218.
CAIS указывает, что 22 неоценённых проекта равномерно распределены по областям и уровням сложности, и даже если предположить, что Fable 5 провалил все отсутствующие проекты, его уровень автоматизации всё равно составляет 14.6% — что всё равно выше, чем у всех других моделей.
ИИ в роли судьи ненадёжен
CAIS параллельно проверил, можно ли заменить дорогостоящую человеческую оценку оценкой ИИ.
Вывод ясен: нельзя.
Когда автоматизированная оценка, откалиброванная на старых моделях, была применена к новым моделям, она завысила оценку для GPT-5.5 почти в 3 раза, а для Opus 4.8 — примерно в 2.5 раза.
Порядок в рейтинге в целом был правильным, но абсолютные значения серьёзно отклонялись от реальности.
Корень проблемы в том, что сама оценка — это сложная агентская задача.
Для справедливой оценки результата работы оценщику необходимо открыть файлы в правильном профессиональном ПО, работать с этим ПО, принимать решения как платящий клиент — а это как раз самое слабое место текущих агентов.
CAIS в блоге привёл типичный пример: GPT-5.5 в задании по 3D-моделированию представил поддельные рендеры, и обнаружить жульничество можно было, только открыв 3D-модель и проверив фактическую геометрическую структуру.
Судьи-ИИ столкнулись с теми же ограничениями возможностей, что и рабочие-ИИ.
Что означает 16%, а что — нет
Гипотеза «временного горизонта» на RLI не подтвердилась.
Эта гипотеза предполагает, что чем больше времени человек тратит на задачу, тем она сложнее для ИИ. В определённых областях, например, программировании, это действительно так, но в разнообразной удалённой работе, охваченной RLI, это не работает.
Успешность моделей не снижается с увеличением времени выполнения работы человеком, демонстрируя характеристику «зубчатого фронта» (jagged frontier) — факторы, определяющие способность ИИ выполнить проект, далеко не сводятся только ко времени сложности.
Скорость прогресса высока, но абсолютный уровень всё ещё очень низок.
CAIS в блоге показал три кейса Fable 5 — 3D-моделирование ювелирных изделий, 2D-анимационная реклама, архитектурный чертёж — ни один из них не достиг профессионального уровня, пригодного для сдачи заказчику.
Дизайн кольца, сделанный Fable 5, визуально явно лучше, чем у старых моделей, но при внимательном рассмотрении всё ещё заметна грубоватая конструкция крапанов.
84% реальных проектов для фрилансеров всё ещё находятся за пределами возможностей ИИ.
Ценность RLI в том, что он предоставляет эталон, откалиброванный по экономической ценности.
Он отслеживает не то, может ли ИИ решить задачу, а то, может ли ИИ заработать деньги.
Увеличение уровня автоматизации более чем в четыре раза за 8 месяцев — эта скорость заслуживает постоянного внимания каждого бизнеса и политика, зависящих от удалённой рабочей силы.
Следующие ключевые моменты: результаты дополнительной оценки оставшихся 22 проектов для Fable 5, а также то, как быстро взлетит эта кривая, когда действительно появятся новые модели, такие как Gemini 3.5 Pro (в настоящее время всего 1.25%), GPT-5.6 и другие, и превзойдёт ли она обычного человека с экспоненциальной скоростью.
Ссылки:
https://labs.scale.com/leaderboard/rli
https://safe.ai/blog/significant-increase-in-digital-labor-automation
Эта статья взята из официального аккаунта WeChat «新智元», автор: ASI启示录
