Только что Claude Fable 5 снова занял первое место
Claude Fable 5 возглавил рейтинг MirrorCode, показав абсолютный успех в 64% случаев решения задач по программированию, оставив позади GPT-5.6 Sol с результатом лишь в треть от этого показателя. Что особенно впечатляет, так это устойчивость модели при работе с непопулярными языками: при переходе с Go на Ada успешность выполнения упала всего на 3 процентных пункта (с 64% до 61%), несмотря на то, что обучающих данных по Python в открытом доступе примерно в 230 раз больше, чем по Ada. Это указывает на способность модели не просто запоминать синтаксис, а глубоко понимать логику программы и воссоздавать её функциональность с нуля на любом языке.
Бенчмарк MirrorCode представляет собой сложное испытание, в рамках которого модель в изолированной среде должна, анализируя только высокоуровневую документацию и наблюдая за поведением исходной программы, полностью воспроизвести её, пройдя 100% видимых и скрытых тестов. На выполнение задач выделяется до 100 миллиардов токенов и нескольких дней непрерывной работы. Например, воссоздание биотехнологического инструмента `gotree` (16 тыс. строк кода) моделью Claude Opus 4.7 заняло 14 часов и стоило 251 доллар, достигнув 99.95% завершённости, что эквивалентно 2-17 неделям человеческой работы.
Тенденция ясна: ИИ переходит от генерации отдельных фрагментов кода к самостоятельному выполнению целых проектов. Такие инструменты, как Cursor и Claude, уже демонстрируют возможности множества агентов, сотрудничающих для написания браузеров и компиляторов объемом в сотни тысяч строк. Это смещает роль разработчика: всё менее необходимо контролировать каждый шаг, всё более важной становится способность чётко ставить задачи и проверять конечный результат. Код становится дешевле, а экспертиза в постановке проблем и верификации решений — ценнее.
marsbitВчера 08:32
