Мировые модели наконец-то вошли в эпоху реального времени. Пока индустрия борется за 5-10 кадров/с, китайская команда напрямую подняла интерактивную мировую модель в реальном времени до 50 кадров/с. Что ещё важнее, они не использовали GPU NVIDIA.
Компания Moxin Technology, специализирующаяся на исследованиях и промышленном внедрении 4D мировых моделей, совместно с командой академика Пань Юньхэ из Чжэцзянского университета представила MoWorld — первую в мире Flash World Model, а также первую полностью построенную на базе китайских NPU модель мира для взаимодействия в реальном времени.
Замкнутый цикл отечественных вычислительных мощностей был полностью пройден от обучения и дистилляции до развёртывания; стоимость вывода снижена на 70% по сравнению с GPU-решениями аналогичного масштаба.
Переломный момент в промышленном внедрении мировых моделей может наступить раньше, чем все ожидали.
Проблема реального времени, сдерживавшая всю отрасль
Была прорвана китайской командой
Если вы пробовали современные основные мировые модели, скорее всего, у вас было общее ощущение:
- Смотреть можно, но играть нельзя.
- Роботам необходимо принимать решения в реальном времени.
- Играм нужна обратная связь в реальном времени.
- Цифровому миру требуется симуляция в реальном времени.
Некоторые прошлые исследования показывают, что при частоте кадров ниже 30 кадров/с всё ощущение погружения разрушается.
Именно поэтому долгое время мировые модели оставались в лабораториях и с трудом проникали в реальные промышленные сценарии.
Реальное время было последней непреодолимой пропастью на пути коммерциализации мировых моделей.
Теперь эта пропасть была взята штурмом одной китайской командой.
50 кадров/с!
Мировые модели впервые по-настоящему вступают в эпоху реального времени
Технический отчёт уже опубликован, в ближайшее время будут открыты веса и код, а также запущены публичные услуги на базе китайского суперузла NPU.
Технический отчёт: https://moxin-tech.github.io/moworld/
Компания Moxin Technology впервые представила концепцию Flash World Model. MoWorld — это первая в отрасли «Flash World Model», достигшая вывода со скоростью >50 кадров/с, а также первая модель мира для взаимодействия в реальном времени с низкой стоимостью, полностью построенная на базе китайских NPU.
MoWorld впервые реализовала полный цикл — от обучения, дистилляции до развёртывания вывода в реальном времени — на полностью отечественной вычислительной платформе, при этом стоимость типовой конфигурации для вывода снижена на 70% по сравнению с GPU-решением аналогичного масштаба.
Когда все наращивали GPU
Они выбрали другой трудный, но правильный путь
MoWorld изначально строилась не вокруг GPU, а была выбрана более трудная и менее проторённая дорога — полностью отечественный стек NPU.
Это означает, что модель не просто перенесли на китайские чипы для вывода, а каждый этап — от данных, обучения, дистилляции до развёртывания вывода — был перепроектирован под отечественные NPU.
Первое — это данные.
В отличие от моделей генерации видео, мировым моделям нужны не только видео и текст, но и информация, такая как траектории камеры. Интернет-видео далеко не удовлетворяет потребностям обучения.
Для этого MoWorld создала полную систему производства и управления данными, превратив её в движок данных для мировых моделей.
Благодаря многолетнему опыту команды Moxin в 3D/4D моделировании, конвейер данных для MoWorld является полностью самосборным, с полной 3D-разметкой. Размечались не только камеры, но и геометрические размеры, пространственная структура объектов — эта информация сформировала прочную основу данных для MoWorld.
Более серьёзные вызовы возникли на этапах обучения и вывода.
Учитывая аппаратные особенности китайских NPU, MoWorld была перепроектирована система обучения, внедрены такие технологии, как сверхплотный параллелизм внимания, параллелизм токенов длинных последовательностей и другие, что значительно снизило давление на память при обучении на сверхдлинных видео, позволив мировой модели впервые обрести способность к обучению и выводу на последовательностях длиной в 2000 кадров.
На этапе вывода команда продолжила серию системных оптимизаций под китайские NPU, включая конвейерное выполнение, иерархический параллелизм последовательностей, динамическое квантование смешанной точности и др.
В итоге, мировая модель MoE с 14 млрд параметров на платформе Huawei Ascend 910C CloudMatrix384 NPU достигла предельной скорости вывода в реальном времени, превышающей 50 кадров/с.
Что ещё важнее, при типовой конфигурации для вывода стоимость снижена на 70% по сравнению с GPU-решением аналогичного масштаба.
Для всей отрасли это не просто новый инженерный путь, а новый подход к промышленному внедрению.
Самая дорогая дверь для мировых моделей открылась
В развитии мировых моделей долгое время существовало противоречие.
Модели становятся всё мощнее.
И стоимость всё выше.
Раньше развёртывание мировой модели означало огромные вложения в GPU, сложное обслуживание кластеров и трудно воспроизводимые затраты на развёртывание.
Теперь те же возможности мировых моделей могут работать на более рентабельных отечественных вычислительных платформах.
Это меняет не только способ работы моделей, но и путь выхода мировых моделей в промышленность.
Для предприятий это означает более низкий порог внедрения, более быструю апробацию приложений и более лёгкое масштабирование.
Для всей отрасли это означает, что мировые модели начинают переход от «могут» к «можно использовать», а затем к «доступно по цене».
Что действительно способно изменить отрасль — это не рекорды в лаборатории.
А то, что впервые это позволяет действительно начать использовать технологию гораздо большему числу людей.
Выход мировых моделей из лаборатории
Какие отрасли ждут перемены
В последние годы мировые модели считались технологией будущего.
Но будущее, в конце концов, должно вернуться в реальность.
Когда стало возможным взаимодействие в реальном времени, а затраты на развёртывание начали снижаться, настоящая ценность мировых моделей только начинает раскрываться.
Первыми изменятся те отрасли, которые наиболее зависят от понимания реального мира и обратной связи в реальном времени.
Игры и интерактивные развлечения: взаимодействие в реальном времени, свободное исследование
MoWorld поддерживает полное 6-степенное управление камерой, пользователи с помощью W/A/S/D и мыши могут осуществлять кинематографическое и игровое погружение при исследовании мира.
Сцены реалистичны, в высоком разрешении, поддерживается разрешение 1080P и выше. Полностью поддерживаются как природные ландшафты, так и аниме, игровая графика.
Овеществлённый интеллект и автономное вождение: виртуальные тренировки, реальные испытания
Мировые модели стали ключевым мостом между генеративным ИИ и овеществлённым интеллектом.
MoWorld может предоставить роботам, автономным системам вождения недорогой, высокоточный «цифровой полигон», обладающий как симуляционной ценностью, так и экономической выгодой, являясь самым перспективным симулятором мира для индустрии, способным предоставить всем командам по разработке интеллектуального вождения обширные и высокоточные среды, позволяя ИИ учиться взаимодействию с физическим миром в виртуальной среде.
Кинопроизводство: режиссёрская работа с камерой, превизуализация в реальном времени
Традиционная раскадровка требует длительных циклов рендеринга.
MoWorld позволяет создателям свободно регулировать ракурс в генерируемом виртуальном мире, предварительно просматривать эффект изображения в реальном времени, точно редактировать кадры, управление камерой плавное, поддерживается режиссёрская работа с камерой, выходящая за пределы воображения.
Цифровые двойники и трёхмерная реконструкция: реконструкция пространства, точное восстановление
Видео, генерируемые MoWorld, обладают превосходящей отрасль геометрической согласованностью и могут напрямую использоваться для трёхмерной реконструкции внутренних сцен — высокая точность, стабильная структура, хорошая пространственная согласованность являются отличительными эффектами MoWorld по сравнению с аналогами.
Это предоставляет сочетающее высокую точность и рентабельность решение для сценариев цифровых двойников, визуализации архитектуры, виртуальных выставочных залов, иммерсивных игр и т.д.
Представляемая MoWorld мировая модель
Сейчас находится на моменте DeepSeek для физического ИИ
За последние годы ИИ совершил последовательные прорывы от генерации текста и изображений к генерации видео, каждый технологический скачок порождал новых лидеров отрасли.
Когда ИИ движется к интерактивным мировым моделям в реальном времени, открывается новое окно возможностей.
По сравнению с крупными языковыми моделями и моделями генерации видео, где постепенно складывается конкурентная среда, мировые модели всё ещё находятся на ранней стадии индустриализации, во всём мире ищут пути инженерного внедрения, отраслевые стандарты далеко не сформированы.
Это означает, что у отечественных мировых моделей появился редкий шанс «одинаковой стартовой позиции» — есть возможность не только участвовать в конкуренции, но и участвовать в определении технологических стандартов следующего поколения пространственного интеллекта.
Значение MoWorld заключается не только в достижении более 50 кадров/с в реальном времени и не только в снижении стоимости вывода на 70% по сравнению с GPU-решениями аналогичного масштаба.
Что ещё важнее, она доказала проблему, которую отрасль давно исследовала, но не могла подтвердить:
Полностью отечественные вычислительные мощности также способны поддерживать мировые модели на пути к взаимодействию в реальном времени и промышленному развёртыванию.
Это означает, что конкуренция в мировых моделях переходит от «у кого модель больше» к «кто сможет действительно войти в реальный мир».
Компания Moxin Technology, стоящая за MoWorld, благодаря уникальным возможностям модели и выдающемуся прогрессу в индустриализации, недавно привлекла финансирование на сумму более 1 миллиарда долларов от национального стратегического резервного капитала, известной ближневосточной долларовой организации, ведущих рыночных фондов и более десятка промышленных капиталов; до этого Moxin Technology уже получила инвестиции от фонда Huawei Hubble Investment и фонда под контролем Lenovo.
Настоящая эпоха мировых моделей, начавшись с Flash World Model, будет стремительно двигаться вперёд.
Эта статья из WeChat Official Account «Синь Чжи Юань», автор: ASI Revelation
