【Вступление】Fable 5 снова запущен. Гостеев из Arena.ai опубликовал видео, где представил 63 3D-мира, почти все созданные с первого раза. Увидев видео, даже Капарти, недавно вступивший в команду предобучения Anthropic, воскликнул, что такого не ожидал.
Медведь стоит у реки и одним укусом хватает выпрыгивающего лосося.
Рыба отчаянно бьётся у него во рту.
Эта сцена просто ошеломила Андрея Капарти.
Посмотрев серию 3D-видео, он написал в твите:
Невероятно. Я раньше не осознавал, что модели способны создавать настолько потрясающие, насыщенные и игровые миры.
И оставил новое словечко: fablemaxxing.
Это прекрасно, настоящий топовый fablemaxxing! С каждым новым уровнем модели всегда появляется что-то совершенно новое, качественно скачкообразное и удивляющее.
Капарти присоединился к Anthropic в мае этого года, как раз в команду предобучения.
В июне состоялся релиз Fable 5, через три дня его остановили американские экспортные ограничения, а 1 июля он был разблокирован. Автор видео — Питер Гостеев с AI-платформы тестирования Arena.ai.
Он с помощью Fable 5 за один присест создал 63 сложных 3D-генерации, почти все на Three.js, в большинстве случаев — с первого раза.
Ещё месяц назад заставить ИИ с первого раза создать входимый и играбельный 3D-мир казалось почти фантастикой. Теперь же Fable 5 одним махом выдаёт 63 таких мира.
Поэтому Гостеев невольно заметил в видео: даже люди в лаборатории ещё не до конца поняли, на что он способен.
1600 строк кода — живой подводный Манхэттен
Сначала о самом впечатляющем в видео.
Весь Манхэттен погружён под воду. Центральный парк, небоскрёбы, текстуры улиц — детализация невероятна.
Гостеев заглянул в код: 1600 строк. Всего 1600 строк поддерживают живой подводный город.
Манхэттен, сгенерированный Fable 5: от Battery до Inwood виден весь остров, десятки тысяч зданий имеют свои очертания, всё поддерживается 1600 строками кода. (Источник: видео Питера Гостева)
Таких миров Гостеев сделал 63, разделив их на 6 больших тем.
Среди гигантских 3D-миров были построены: Стамбул, раскинувшийся на двух берегах Евразии; Лондон, меняющийся на протяжении 2000 лет; величественные пирамиды; извержение Везувия в Помпеях; мост Золотые Ворота с движущимся транспортом.
Сгенерированный Fable 5 с первого раза Стамбул, простирающийся через Европу и Азию, ярусами спускающийся к морю. (Источник: видео Питера Гостева)
Съедобное королевство, созданное Fable 5 — шоколадная фабрика из конфет. (Источник: видео Питера Гостева)
Игровые сценарии: паркур по крышам Нью-Йорка, физическая площадка, где можно ломать весь город, симулятор полётов с полным набором приборов.
Самое невероятное — возможность войти в мировые шедевры живописи. «Звёздная ночь» Ван Гога, «Кувшинки» Моне — картины превращены в проходимые 3D-миры.
Ещё одна категория — невозможные ракурсы: муравей высотой в миллиметр рассматривает сад под дождём, открывает глаза и натыкается на золотую гору.
Fable 5 сжимает ракурс до высоты в миллиметр — травинки вырастают в высокие горы. (Источник: видео Питера Гостева)
Среди природных чудес — Ниагарский водопад, лес, где синхронно мерцают светлячки, и та самая сцена с медведем и лососем, которая поразила Капарти.
И наконец, стихии и космос: расступившееся Красное море, рождающийся вулканический остров, космический лифт, уходящий в небо.
Fable 5 генерирует Красное море, расступившееся посередине, человек идёт между двумя водяными стенами. (Источник: видео Питера Гостева)
По мнению Гостева, создать красивую отдельную сцену никогда не было сложно. Сложность в том, может ли модель одновременно управлять огромным количеством элементов, заставляя их гармонично взаимодействовать.
Более слабые модели часто делают первые 80% хорошо, а последние 20% полностью проваливаются, и времени на отладку уходит ещё больше.
Нельзя просто скопировать картину, нужно сначала её понять
Если построение города ещё можно объяснить логикой, то следующая серия картин заставила Гостева несколько раз сказать «невероятно».
«Звёздная ночь» Ван Гога.
Такую картину нельзя просто скопировать: весь холст покрыт густым слоем краски, мазки закручены в вихри.
Подход Fable 5 — использовать отдельные линии, чтобы заново собрать это звёздное небо в трёхмерном пространстве, а затем позволить вам влететь внутрь и перемещаться между вихрями.
Fable 5 разбирает «Звёздную ночь» Ван Гога на отдельные объёмные линии, пересобирает их в 3D-пространстве, позволяя вам летать среди вращающихся звёзд и вихрей. (Источник: видео Питера Гостева)
«Кувшинки» Моне, «Большая волна в Канагаве» Хокусая также «раскрыты» в миры, по которым можно бродить.
По мнению Гостева, Fable 5 в этот раз особенно хорошо умеет объяснять вещи, может демонстрировать и одновременно пояснять, как всё работает. Эта объяснительная сила стала для него неожиданностью.
Конечно, эти миры не созданы «одной фразой».
Гостеев кормил модель длинными и подробными техническими заданиями. Большинство примеров созданы с первого раза, некоторые потребовали одной-двух итераций доработки.
Настоящий водораздел в том, что то, что раньше требовало десятков итераций, теперь в большинстве случаев получается с первого раза в виде одного HTML-файла.
За магией — есть и слабые стороны
Гостеев признаёт, что его примеры были отобраны. Он сгенерировал примерно на 20% больше, чем показал, отсеял версии с явными ошибками и оставил эти 63.
Игры — его слабое место.
Он признаёт, что те игровые сцены, что есть, «надоедают за 30 секунд». Одна из версий Римской империи показалась ему слишком мультяшной.
Что ещё более тонко, ему кажется, что модель иногда ленится, скрывает свои возможности, и приходится подталкивать её быть амбициознее, чтобы она показала всё, на что способна.
При запуске Fable 5 занял первое место в собственном рейтинге Agent Arena от Arena.ai с самым большим в истории отрывом.
Arena.ai заявляет, что этот рейтинг измеряет способность модели реально выполнять задачи в миллионах реальных случаев.
Это исследование только начинается
Вернёмся к сцене с медведем, ловящим лосося.
Капарти удивило, что рыба, будучи схваченной, бьётся. Такую деталь, которую никто не требовал, как большая модель, обученная только на интернете, это узнала?
Узнала, и как перевела это понимание в координаты xyz, сетки, трансформации, анимации, эффекты, взаимодействия и даже мини-истории?
Этот вопрос выходит за рамки «хорошо ли ИИ рисует» и упирается в «сколько же он на самом деле понимает».
Капарти также заметил: если добавить ещё один-три уровня модели, даже представить страшно, что можно будет создать.
Гостеев также поражён скоростью развития ИИ: «Не ограничивайтесь моделями полугодовой давности. Наверняка у вас есть дело, которое не могли делать старые модели, а нынешняя может. Пробуйте».
Даже создатели моделей ещё не нащупали её границы.
Это исследование только начинается.
Ссылки:
https://github.com/petergpt/3d-prompt-collection#prompt-01
https://x.com/karpathy/status/2073505440479293773
https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s
Статья из WeChat публичного аккаунта «Новая эра искусственного интеллекта» (新智元), автор: ASI启示录; редактор: Юань Юй
