Генеральный директор Unreal Engine наблюдает за последней мировой моделью: управляемая кодом, видеомодель генерирует изображения
Заголовок: СЕО Unreal Engine оценил новую мировую модель на основе кода, генерирующую видео
Исследователи из Лаборатории AGI Университета Сиху и Наньянского технологического университета предложили новую парадигму моделей мира — Code World Model. Её ключевая идея заключается в разделении ответственности между языковой моделью (ИИ-агентом) и видео-моделью. Языковая модель выступает в роли «мозга»: она обрабатывает намерения игрока, новые события, вызывает знания о мире, рассуждает о последствиях и решает, какие механизмы необходимо выполнить, скомбинировать или изменить. Эти решения записываются в исполняемый код, который поддерживает и обновляет состояние мира (world state) — его правила, цели, отношения между объектами и причинно-следственные связи.
Состояние мира преобразуется в визуальный «прокси» — грубое представление сцены, которое определяет пространственно-временной «скелет»: положение и ориентацию объектов, траектории движения, композицию кадра и движение камеры. Этот прокси-сигнал, наряду с текстовым описанием, передаётся видео-модели, которая отвечает исключительно за генерацию финального фотореалистичного или стилизованного видео, дополняя скелет текстурой, освещением и детальной анимацией.
Таким образом, Code World Model отделяет логику симуляции мира (что происходит) от его визуализации (как это выглядит). Это позволяет создавать согласованные и управляемые интерактивные миры, где высокоуровневая семантика и долгосрочные последствия явно поддерживаются кодом, а не выводятся моделью из пикселей. Прототип системы, обученный на 5.6 часах геймплейных записей, демонстрирует способность точно следовать заданному прокси, генерируя видео с разнообразными персонажами, стилями и сложными движениями камеры.
marsbit09/07 12:23
