Los modelos de mundo finalmente entran en la era del tiempo real. Mientras la industria aún lucha con 5 o 10 FPS, un equipo chino ha llevado directamente un modelo de mundo interactivo en tiempo real a 50 FPS. Lo más importante es que no utilizaron GPUs de NVIDIA.
Moxin Technology, especializada en la investigación y aplicación industrial de modelos de mundo 4D, junto con el equipo del académico Pan Yunhe de la Universidad de Zhejiang, han presentado MoWorld: el primer modelo Flash World Model del mundo, y también el primer modelo de mundo interactivo en tiempo real construido completamente sobre NPU nacionales.
Desde el entrenamiento, la destilación hasta el despliegue, se ha completado todo el proceso de cierre de ciclo de computación nacional; el coste de inferencia se reduce en un 70% en comparación con soluciones GPU de escala similar.
El punto de inflexión para la industrialización de los modelos de mundo puede llegar antes de lo que todos esperaban.
El problema del tiempo real que bloqueaba a toda la industria
Ha sido roto por un equipo chino
Si has probado los modelos de mundo actuales más comunes, probablemente tengas una sensación compartida:
- Se pueden ver, pero no jugar con ellos.
- Los robots necesitan tomar decisiones en tiempo real.
- Los juegos necesitan retroalimentación en tiempo real.
- Los mundos digitales necesitan simulaciones en tiempo real.
Estudios previos indican que con una velocidad de fotogramas inferior a 30 FPS, toda inmersión se rompe.
Por eso, durante mucho tiempo, los modelos de mundo han permanecido en el laboratorio, sin poder entrar verdaderamente en escenarios industriales.
La capacidad de tiempo real era, hasta ahora, el último gran obstáculo en el camino hacia la comercialización de los modelos de mundo.
Ahora, este obstáculo ha sido superado de un golpe por un equipo chino.
¡50 FPS!
Los modelos de mundo entran por primera vez en la era del tiempo real
El informe técnico ya se ha publicado. Los pesos y el código se harán públicos próximamente, y se ofrecerá un servicio basado en supernodos de NPU nacionales.
Informe técnico: https://moxin-tech.github.io/moworld/
Moxin Technology presenta por primera vez el concepto de Flash World Model. MoWorld es el primer "Flash World Model" del sector en lograr una inferencia >50 FPS, y también el primer modelo de mundo interactivo en tiempo real y bajo coste construido completamente sobre NPU nacionales.
MoWorld logra por primera vez, en una plataforma de computación nacional completa, un ciclo cerrado completo desde el entrenamiento y la destilación hasta el despliegue de inferencia en tiempo real, reduciendo además el coste en configuraciones típicas de inferencia en un 70% frente a soluciones GPU de escala similar.
Mientras todos acumulaban GPUs
Ellos eligieron otro camino, difícil pero correcto
MoWorld, desde el principio, no se construyó alrededor de GPUs, sino que eligió un camino más difícil y menos explorado: NPU nacionales completos.
Esto significa que no es simplemente migrar el modelo a chips nacionales para inferencia, sino rediseñar cada etapa -desde los datos, el entrenamiento y la destilación hasta el despliegue de inferencia- en torno a las NPU nacionales.
Primero, los datos.
En comparación con los modelos de generación de vídeo, los modelos de mundo no solo necesitan vídeo y texto, sino también información como trayectorias de cámara. Los vídeos de internet están lejos de satisfacer las necesidades de entrenamiento.
Por ello, MoWorld ha establecido un sistema completo de producción y gestión de datos, elevándolo a un motor de datos al servicio de los modelos de mundo.
Basándose en la experiencia acumulada durante años por el equipo de Moxin en modelado 3D/4D, la tubería de datos detrás de MoWorld es completamente auto-capturada y anotada en 3D, incluyendo no solo la cámara, sino también dimensiones geométricas y estructura espacial de objetos, construyendo una sólida base de datos para MoWorld.
Los desafíos más difíciles ocurrieron en las fases de entrenamiento e inferencia.
Adaptándose a las características de hardware de las NPU nacionales, MoWorld rediseñó el sistema de entrenamiento, introduciendo paralelismo de atención ultra-denso, paralelismo de tokens de secuencias largas, etc., aliviando significativamente la presión de memoria al entrenar vídeos muy largos, permitiendo por primera vez a un modelo de mundo capacidad de entrenamiento e inferencia de secuencias de 2000 fotogramas.
En la fase de inferencia, el equipo continuó con una serie de optimizaciones a nivel de sistema para las NPU nacionales: ejecución por tuberías, paralelismo de secuencias jerárquico, cuantización dinámica de precisión mixta, etc.
Finalmente, un modelo de mundo MoE de 14B parámetros, en la plataforma de NPU Huawei Ascend 910C CloudMatrix384, logró una velocidad de inferencia en tiempo real que supera el límite de 50 FPS.
Lo más importante es que, en configuraciones típicas de inferencia, el coste se reduce en un 70% frente a soluciones GPU similares.
Para toda la industria, esto no es solo una nueva ruta de ingeniería, sino también un nuevo enfoque para la industrialización.
La puerta más cara de los modelos de mundo ha sido abierta
Durante mucho tiempo, el desarrollo de modelos de mundo ha tenido una contradicción.
Los modelos son cada vez más potentes.
Y los costes, cada vez más altos.
Antes, desplegar un modelo de mundo significaba una gran inversión en GPUs, un complejo mantenimiento de clústeres y costes de despliegue difíciles de replicar.
Ahora, la misma capacidad de modelo de mundo puede ejecutarse en plataformas de computación nacionales más rentables.
Esto no solo cambia la forma de ejecutar los modelos, sino también la ruta hacia la industrialización de los modelos de mundo.
Para las empresas, significa un umbral de despliegue más bajo, una verificación de aplicaciones más rápida y una replicación a escala más fácil.
Para toda la industria, significa que los modelos de mundo pasan de "ser posibles" a "ser utilizables", y luego a "ser asequibles".
Lo que realmente impulsa a una tecnología a cambiar una industria nunca son los récords del laboratorio.
Sino la primera vez que permite que más personas puedan usarla realmente.
Los modelos de mundo salen del laboratorio
¿Qué industrias experimentarán una transformación?
En los últimos años, los modelos de mundo han sido considerados una tecnología del futuro.
Pero el futuro, al final, debe volver a la realidad.
Cuando la interacción en tiempo real es posible, y los costes de despliegue empiezan a bajar, el verdadero valor de los modelos de mundo acaba de empezar a liberarse.
Los primeros cambios ocurrirán en aquellas industrias más dependientes de la comprensión del mundo real y la retroalimentación en tiempo real.
Juegos y entretenimiento interactivo: Interacción en tiempo real, exploración libre
MoWorld soporta control completo de cámara de 6 grados de libertad. Los usuarios, con W/A/S/D y ratón, pueden lograr una experiencia de navegación inmersiva a nivel cinematográfico y de videojuegos.
Los escenarios son realistas, en alta definición, soportando resolución 1080P y superior. Compatible con paisajes naturales, mundos de anime, videojuegos, etc.
Inteligencia encarnada y conducción autónoma: Entrenamiento virtual, verificación real
Los modelos de mundo se han convertido en un puente clave entre la IA generativa y la inteligencia encarnada.
MoWorld puede proporcionar a robots y sistemas de conducción autónoma un "campo de entrenamiento digital" de bajo coste y alta fidelidad, es el simulador de mundo más prometedor del sector en cuanto a valor de simulación y valor económico, capaz de proporcionar a todos los equipos de conducción autónoma entornos masivos y de alta precisión, permitiendo que la IA aprenda en mundos virtuales a interactuar con entornos físicos reales.
Creación cinematográfica: Movimientos de cámara de director, previsualización en tiempo real
Los storyboards cinematográficos tradicionales requieren largos ciclos de renderizado.
MoWorld permite a los creadores ajustar libremente la perspectiva en mundos virtuales generados, previsualizar efectos en tiempo real, editar con precisión las tomas, con un control de cámara fluido, soportando movimientos de cámara a nivel de director más allá de la imaginación.
Gemelos digitales y reconstrucción 3D: Reconstrucción espacial, reproducción precisa
Los vídeos generados por MoWorld tienen una consistencia geométrica superior a la industria, y pueden usarse directamente para la reconstrucción 3D de escenas interiores. La alta precisión, estructura estable y buena consistencia espacial son efectos distintivos de MoWorld frente a sus competidores.
Esto proporciona a escenarios como gemelos digitales, visualización arquitectónica, salas de exposición virtuales o juegos inmersivos, soluciones que combinan alta precisión y buena relación coste-eficacia.
El modelo de mundo que representa MoWorld
Está ahora en su momento DeepSeek de la IA física
En los últimos años, la IA ha completado saltos continuos desde la generación de texto, imágenes hasta vídeo, cada uno de los cuales ha impulsado a nuevos líderes industriales.
Y cuando la IA avanza hacia modelos de mundo interactivos en tiempo real, se abre una nueva ventana.
Comparado con los modelos de lenguaje grandes y de generación de vídeo, donde ya se forman competencias, el modelo de mundo sigue en fase temprana de industrialización. Globalmente se exploran rutas de implementación, y los estándares del sector están lejos de definirse.
Esto significa que los modelos de mundo nacionales tienen una rara oportunidad de "misma línea de salida": no solo la oportunidad de competir, sino también de participar en la definición de los estándares técnicos de la próxima generación de inteligencia espacial.
El significado de MoWorld no reside solo en lograr interacción en tiempo real a más de 50 FPS, ni en reducir el coste de inferencia en un 70% frente a soluciones GPU similares.
Lo más importante es que prueba un problema que la industria ha estado explorando pero sin verificar:
La computación nacional completa también puede impulsar los modelos de mundo hacia la interacción en tiempo real y el despliegue industrial.
Esto significa que la competencia en modelos de mundo está pasando de "quién tiene el modelo más grande" a "quién puede verdaderamente entrar en el mundo real".
Moxin Technology, detrás de MoWorld, con sus capacidades únicas de modelo y progreso industrial destacado, ha obtenido recientemente más de mil millones de dólares en financiación de capital estratégico nacional de reserva, instituciones de dólares de Oriente Medio conocidas, fondos líderes del mercado y más de diez capitales industriales; anteriormente, Moxin Technology ya había recibido inversión de Hubble Investment de Huawei y fondos de Lenovo.
La era que realmente pertenece a los modelos de mundo, comenzando con Flash World Model, avanzará rápidamente hacia adelante.
Este artículo procede del WeChat público "新智元" (New Zhiyuan), autor: ASI启示录
