Рейтинг ИИ-работников: Способность Claude Fable 5 к автоматическому заработку в 2.5 раза выше, чем у GPT-5.5
Статья представляет исследование "Индекса удалённой рабочей силы" (Remote Labor Index, RLI), оценивающего способность ИИ-агентов автоматически выполнять реальные проекты фрилансеров. По последним данным, модель Claude Fable 5 достигла уровня автоматизации 16.1%, что примерно в 2.5 раза выше, чем у GPT-5.5 (6.3%). Модель Opus 4.8 заняла второе место с 8.3%.
RLI использует 240 реальных проектов с платформы Upwork, охватывающих 23 области, такие как 3D-моделирование, дизайн и анализ данных. Ключевой метрикой является "уровень автоматизации" — процент проектов, результат которых был признан человеком-оценщиком приемлемым для платящего клиента.
Всего за 8 месяцев с момента публикации RLI максимальный показатель автоматизации вырос с 2.5% до 16.1%. Такой скачок связан с улучшением архитектуры агентов, в частности, с внедрением цикла "работник-критик", где отдельный агент проверяет и отправляет работу на доработку. Также на результат Fable 5 повлиял более высокий бюджет на проект ($150 против $50 у других).
Исследование показало, что использование ИИ для оценки результатов работ ненадёжно: автоматизированная оценка значительно завышала показатели новых моделей. Несмотря на быстрый прогресс, текущий абсолютный уровень автоматизации остаётся низким — 84% проектов всё ещё не под силу ИИ. Авторы подчёркивают, что RLI измеряет не способность решать абстрактные задачи, а экономический потенциал ИИ — его возможность "зарабатывать деньги", выполняя коммерческую работу.
marsbit16 ч. назад
