En los últimos dos años, el foco de la competencia en el campo de los robots humanoides se ha desplazado aún más del hardware de la máquina completa a las capacidades de los modelos.
Los fabricantes de máquinas completas han lanzado intensamente nuevos productos, con vídeos de volteretas, bailes y maratones llenando pantallas una y otra vez. Pero detrás del bullicio, la industria ha llegado gradualmente a un consenso: lo que determina el límite superior de las capacidades de un robot humanoide ya no son solo las articulaciones y los motores. La capacidad de comprender el entorno, predecir cambios y coordinar todo el cuerpo para completar tareas se está convirtiendo en la clave para lograr la generalización.
Los Modelos Mundiales, los VLA y los Modelos Base para Robots Humanoides se han convertido así en las direcciones técnicas más importantes en este campo en los últimos dos años.
En medio del fervor, tres grandes desafíos permanecen ante toda la industria.
En primer lugar, el coste de recopilar datos de demostración con máquinas reales de robots humanoides es alto. La recopilación requiere registrar sincrónicamente vídeo en primera persona, datos de percepción del cuerpo y comandos ejecutables para todo el cuerpo. Limitados por la dificultad de la teleoperación, los riesgos de seguridad, la disponibilidad de hardware y la diversidad de entornos, es difícil acumular datos a gran escala y de alta calidad en poco tiempo.
En segundo lugar, muchos de los modelos de acción mundial existentes siguen la línea de la predicción de vídeo a nivel de píxeles, lo que requiere un gran coste computacional, y una gran parte de la capacidad se consume en detalles de la imagen poco relacionados con el control. El rápido movimiento propio del robot humanoide y las sacudidas del ángulo de visión amplifican aún más el ruido en la predicción visual.
En tercer lugar, muchos enfoques existentes aún modelan por separado la manipulación de los miembros superiores y el control de la locomoción, lo que resulta en una coordinación insuficiente entre la parte superior e inferior del cuerpo, dificultando un control natural y fluido de todo el cuerpo.
En este contexto, la empresa de inteligencia incorporada Being Beyond ha lanzado Being-M0.7. Este es el primer Modelo de Acción Mundial Implícito (Latent World-Action Model, abreviado Latent WAM) del mundo diseñado para la manipulación móvil de cuerpo completo de robots humanoides, y también es la primera vez en la industria que se extiende la capacidad del modelo mundial implícito desde la manipulación diestra de escritorio hasta la manipulación móvil de cuerpo completo.
- Enlace al artículo: https://research.beingbeyond.com/being-m07/being-m07.pdf
- Página del proyecto: https://research.beingbeyond.com/being-m07
Utiliza más de 10.000 horas de datos multimodales centrados en el ser humano para el preentrenamiento, luego completa la adaptación al cuerpo específico mediante una pequeña cantidad de datos de demostración reales, y ha llevado a cabo múltiples tareas de manipulación móvil de cuerpo completo de alta dificultad en robots humanoides reales.
De Being-H a Being-M, una hoja de ruta tecnológica que se sigue consolidando
Detrás de Being-M0.7 hay una hoja de ruta tecnológica que Being Beyond ha mantenido durante años.
Esta empresa es una de las primeras empresas de inteligencia incorporada del mundo en apostar por la ruta de entrenamiento con vídeos humanos a gran escala, desarrollando simultáneamente dos líneas principales de modelos: la manipulación diestra general y la manipulación diestra móvil general, y también el primer equipo en China en lanzar un modelo de acción mundial implícito nativo para inteligencia incorporada.
La premisa central de su enfoque es que los datos de demostración con robots reales son caros y escasos, y es difícil ampliar continuamente su escala como ocurre con el texto y el vídeo de Internet. En contraste, los seres humanos interactúan diariamente con el mundo físico desde una perspectiva en primera persona. Estos vastos datos del comportamiento humano contienen ricos conocimientos previos sobre la evolución de escenarios, la dinámica de objetos y la coordinación corporal. En lugar de esperar a que se acumulen lentamente los datos de robots, es mejor que el modelo primero aprenda cómo funciona el mundo a partir de la experiencia humana, y luego transfiera ese conocimiento a plataformas robóticas específicas.
Being-H0.7, lanzado en abril de este año, validó la viabilidad de esta premisa en el lado de la manipulación diestra. Ese modelo amplió la escala de datos de entrenamiento a 200.000 horas de vídeo humano, logrando el primer lugar general en 6 evaluaciones internacionales, alcanzando el primer puesto en 4 de ellas, y convirtiéndose en el primer modelo mundial general para inteligencia incorporada que abarca siete dimensiones clave: a través de cuerpos, a través de escenarios, dinámica continua, fluidos, objetos flexibles, leyes físicas y razonamiento contextual.
Being-M0.7 es el resultado más reciente de esta línea de modelos de acción mundial implícita.
Si la serie Being-H responde a cómo la mano manipula el mundo, Being-M0.7 responde a cómo todo el cuerpo se mueve y opera de manera coordinada en el mundo. La manipulación móvil diestra (loco-manipulation) de un robot humanoide requiere que el modelo decida simultáneamente adónde ir, cómo orientar el cuerpo, cómo coordinar manos y pies, y cómo mantener una postura estable. Este es un problema altamente acoplado tanto en la dimensión temporal como en la corporal, y una barrera de capacidad insoslayable para los robots humanoides generales.
Being-M0.7 es un modelo de acción mundial implícito. Primero se preentrena con vídeos en primera persona y datos de movimiento humano, utilizando una estructura Mixture of Transformers (MoT); luego, mediante un posentrenamiento con un experto en acciones, se implementa el control utilizando datos de trayectoria de robots en diversas tareas de manipulación de cuerpo completo.
A diferencia de muchos modelos mundiales que dependen de la generación de vídeo a nivel de píxeles, Being-M0.7 predice los estados futuros del entorno en un espacio latente y los acopla con una representación compacta del movimiento de todo el cuerpo. La predicción a nivel de píxeles es computacionalmente costosa, y gran parte de la potencia de cálculo se consume en detalles de apariencia poco relacionados con el control. Además, el rápido movimiento propio y las sacudidas del punto de vista en primera persona llenan la predicción de ruido. La predicción en el espacio latente concentra la capacidad de modelado en las estructuras realmente relevantes para el control, como el estado semántico, la disposición de los objetos y la evolución del escenario, preservando la esencia del modelo mundial para predecir el futuro mientras reduce drásticamente el coste computacional.
¿Cómo se transforma la comprensión física en acción de cuerpo completo?
La verdadera capacidad de manipulación móvil de cuerpo completo del modelo debe probarse finalmente en escenarios reales.
Being Beyond ha publicado cuatro demos reales con Being-M0.7, que cubren cuatro tipos de escenarios extremadamente desafiantes: interacción con líquidos, razonamiento con espejos, tareas de largo alcance y evitación de obstáculos con oclusiones.
Estas tareas evalúan conjuntamente una pregunta: ¿Puede el robot, basándose en la predicción del entorno y los cambios futuros, generar continuamente acciones de cuerpo completo que se ajusten a la escena actual?.
Pescar en una pecera
El robot se acerca a un tanque de agua y usa una red para pescar un pez de juguete dentro del agua. El líquido no tiene forma fija, fluye, ejerce flotación y resistencia sobre los objetos sumergidos, y la refracción en la superficie del agua puede desplazar la posición visual de los objetos bajo el agua. El robot debe comprender la interacción entre el agua, la red y el pez, y coordinar su brazo para realizar una pesca con herramienta de un objetivo dinámico, incluso cuando la información visual está distorsionada por el agua. Esta tarea pone a prueba precisamente la capacidad de predecir estados futuros, usar herramientas y coordinar acciones bajo una dinámica de objetos incierta.
Para la parte de pescar el pez en la tarea, Being-M0.7 tuvo éxito en 3 de 5 intentos. En comparación,
fue 2/5, y GR00T-N1.6 fue 1/5.
Recoger un objeto usando un espejo
El robot tiene frente a sí una caja que solo está abierta por la parte trasera y los laterales. El objeto dentro de la caja es completamente invisible desde la perspectiva del propio robot. La única pista proviene del reflejo en un espejo situado frente a él. El robot necesita inferir la posición del objeto oculto en el espacio tridimensional real basándose en la imagen del espejo, luego acercarse a la caja y extender la mano para agarrarlo. Esto requiere que el modelo comprenda las relaciones espaciales entre el espejo, la caja y el objeto, y los principios de la reflexión especular, transformando la evidencia visual indirecta en acciones ejecutables bajo condiciones de observabilidad parcial.
En pruebas de comparación con robots reales frente a
y GR00T-N1.6, con configuraciones de distancia de 0.5 metros y 1 metro, Being-M0.7 tuvo éxito en 3 y 1 de 5 intentos respectivamente, con un total de 4/10;
y GR00T obtuvieron una puntuación total de 1/10 cada uno.
Este resultado indica que Being-M0.7 demostró una mayor capacidad de adaptación en tareas de observabilidad parcial que requieren razonamiento visual indirecto, acercamiento de cuerpo completo y agarre fino.
Mover, colocar y recoger objetos
El robot camina hacia una mesa, transfiere una barra de pan de una cesta a otra, luego toma un ramo de flores de la cesta y se aleja girando. La tarea consiste en una serie de subtareas. El robot necesita cambiar continuamente entre caminar, agarrar, transferir, girar, etc., manteniendo una comprensión continua de la escena durante todo el proceso. Lo que se pone a prueba no es solo la tasa de éxito de un solo agarre, sino también el mantenimiento del estado en tareas de largo alcance, el razonamiento espacial a nivel de objetos y la coordinación de cuerpo completo entre la locomoción y la manipulación diestra.
Transportar una caja y esquivar obstáculos
El robot avanza cargando una caja. Cuando aparece un obstáculo frente a él, no se detiene por completo para replanificar, sino que ajusta la orientación de su cuerpo y pasa de lado a través del espacio estrecho entre los obstáculos. Transportar un objeto ocupa parte de su campo de visión en primera persona y también cambia la carga y el centro de gravedad del robot. El modelo necesita combinar la información ambiental disponible con la retroalimentación en tiempo real, juzgar las áreas transitables, ajustar la dirección de la marcha y la postura de todo el cuerpo, manteniendo simultáneamente su propio equilibrio y la estabilidad del objeto transportado. El movimiento multidireccional, la evitación de obstáculos y la operación con conciencia de la carga se unifican aquí en un único comportamiento en bucle cerrado.
Estas demostraciones muestran que el robot no ejecuta una trayectoria fija de forma abierta, sino que genera y corrige continuamente acciones de cuerpo completo combinando la observación actual, la retroalimentación en tiempo real y las predicciones sobre el futuro.
Arquitectura MoT y representación unificada del movimiento: Abordando el desafío de la escasez de datos para la inteligencia incorporada
Lo que sustenta las capacidades anteriores es un conjunto de decisiones clave en los niveles de datos y arquitectura de Being-M0.7.
Un robot humanoide necesita completar la percepción espacial a través de información visual en primera persona, y también generar comandos de movimiento y control futuros para ejecutar. Los datos de movimiento humano de alta calidad generalmente requieren equipos de captura de movimiento, y los datos emparejados en primera persona con visión y movimiento estrictamente alineados son aún más escasos.
Si un modelo solo puede usar datos que contienen simultáneamente visión y movimiento, la escala de datos entrenables se vería seriamente limitada. El problema que Being-M0.7 debe resolver es precisamente cómo hacer que los datos emparejados, los datos de vídeo puro y los datos de movimiento puro participen conjuntamente en el entrenamiento.
Being Beyond optó por la arquitectura Vision-Motion MoT (Mixture-of-Transformers, arquitectura multimodal de Transformadores Mixtos). Vision-Motion MoT preserva módulos de proyección y procesamiento específicos para cada modalidad (visión y movimiento), mientras permite la interacción multimodal a través de una atención multimodal compartida. Los cambios en el estado visual y el movimiento continuo tienen distribuciones de datos diferentes y no necesitan ser forzados dentro del mismo conjunto de parámetros; cuando ambas modalidades están presentes, pueden intercambiar información en un contexto compartido.
Esto permite que el modelo sea compatible simultáneamente con tres tipos de datos.
Para los datos emparejados de vídeo y movimiento, el modelo aprende conjuntamente el estado futuro del entorno y la trayectoria de movimiento. Para los datos de solo vídeo, solo se calcula el objetivo de entrenamiento de la rama visual. Para los datos de solo movimiento, solo se entrena la rama de movimiento. Datos de diferentes fuentes restringen conjuntamente el modelo a través del mismo objetivo de entrenamiento, sin necesidad de entrenar múltiples sistemas unimodales separados.
Desde una perspectiva de modelado probabilístico, los datos emparejados caracterizan la relación conjunta entre visión y movimiento, mientras que los datos unimodales proporcionan restricciones marginales para esta distribución conjunta. Incluso si los datos no están completos en cuanto a modalidad, pueden incorporarse al mismo marco de entrenamiento.
Resumen del marco de entrenamiento de Being-M0.7. Arriba a la izquierda: los datos de preentrenamiento están compuestos conjuntamente por datos emparejados de vídeo-movimiento, datos de solo vídeo y datos de solo movimiento. Abajo a la izquierda: el equipo de investigación construyó una representación unificada del movimiento compartida entre humanos y robots humanoides, proporcionando señales de supervisión y retroalimentación más ricas para el entrenamiento y la inferencia. Derecha: La arquitectura general del modelo Being-M0.7.
Basándose en esta arquitectura, el equipo construyó más de 10,000 horas de datos de preentrenamiento multimodal mixtos, que abarcan vídeos humanos en primera persona, datos emparejados de vídeo en primera persona y movimiento, y secuencias de movimiento humano puras.
La 'receta de datos' (Data Recipe) de Being-M0.7. El corpus de preentrenamiento proviene de múltiples conjuntos de datos públicos externos, incluyendo Ego4D, Xperience, Nymeria, Bones-SEED, SnapMoGen, HumanML3D y Lafan1; también incluye conjuntos de datos internos.
Otro diseño clave es la representación unificada del movimiento compartida entre humanos y robots humanoides.
Being-M0.7 propone una representación de acción unificada que convierte los datos de movimiento humano de diferentes fuentes en una representación unificada con el nodo raíz en la cabeza, alineándola naturalmente con la visión en primera persona. Mediante procesos de estandarización como la unificación del sistema de coordenadas y la eliminación de la orientación inicial, se reducen las diferencias de distribución entre conjuntos de datos y se mejora la consistencia entre fuentes de datos.
Además, Being-M0.7 adopta una representación de movimiento compacta que conserva solo la cabeza, ambas manos y ambos pies, preservando la información clave de interacción y contacto mientras mitiga eficazmente las diferencias morfológicas entre humanos y robots. Esta representación no solo proporciona señales de supervisión más ricas que las etiquetas de acción para el posentrenamiento del robot, sino que también puede proporcionar retroalimentación a nivel de movimiento durante la fase de inferencia, apoyando el control cooperativo de cuerpo completo.
En la fase de preentrenamiento, el modelo mapea imágenes al espacio latente a través de un codificador visual y utiliza la representación de movimiento compacta y unificada. El modelo se entrena con el objetivo de 'Flow Matching' (Emparejamiento de Flujo), prediciendo conjuntamente los cambios de estado futuros y las trayectorias de movimiento basándose en un breve historial de visión-movimiento y una instrucción de tarea.
En la etapa de recopilación de datos con robots reales, el equipo construyó un sistema de teleoperación de cuerpo completo basado en PICO VR. El operador usa un visor PICO, dos rastreadores de tobillo y dos controladores manuales. El sistema VR estima en tiempo real la postura humana y luego la convierte, a través de un controlador de movimiento de cuerpo completo, en comandos de control de 29 grados de libertad ejecutables por el robot Unitree G1. Mientras el robot ejecuta acciones por teleoperación, registra imágenes en primera persona desde la cámara RGB a bordo, la percepción del cuerpo y los comandos de control de movimiento. Estos sirven como datos de ajuste fino para el posentrenamiento de Being-M0.7 en tareas específicas.
Sistema de recopilación de datos con robots reales para Being-M0.7. El operador proporciona comandos de movimiento de cuerpo completo a través del equipo VR, el sistema convierte la postura humana en comandos de control del robot y recopila sincrónicamente imágenes en primera persona, percepción del cuerpo y trayectorias de movimiento.
Dado que el modelo ya ha establecido conocimientos previos de visión-movimiento en la fase de preentrenamiento, los datos del robot real ya no necesitan enseñar todas las leyes del movimiento desde cero, sino que asumen principalmente dos tareas: primero, adaptar los conocimientos previos preentrenados al espacio de control específico del robot humanoide; segundo, aprender los comandos de control de bajo nivel y los mecanismos de retroalimentación requeridos por el robot real. Este proceso lo lleva a cabo un experto en acciones ligero (Action Expert). El experto en acciones lee el estado oculto intermedio del Latent WAM, lo utiliza como contexto de planificación de alto nivel y, combinándolo con la observación visual actual, la información de percepción del cuerpo y el progreso de la ejecución, genera bloques de acción que el robot puede ejecutar directamente.
En la fase de inferencia, el modelo genera planes futuros de vídeo-movimiento a una frecuencia baja y convierte su estado oculto intermedio en una caché de estrategias reutilizable (KV Cache). La representación unificada del movimiento no solo fusiona la retroalimentación visual y la percepción del cuerpo, sino que también utiliza el estado de movimiento más reciente del robot para corregir el plan de movimiento de cuerpo completo predicho, permitiendo que la estrategia responda oportunamente a las desviaciones en el movimiento del cuerpo y los efectores finales. El experto en acciones reutiliza la KV Cache actual, genera acciones continuamente a una frecuencia alta y se integra sin problemas con la última retroalimentación del robot cuando se actualiza la caché. Este diseño desacopla la planificación mundial de baja frecuencia y el control de acciones de alta frecuencia, garantizando la capacidad de respuesta en tiempo real mientras el robot permanece guiado conjuntamente por la planificación a largo plazo y la retroalimentación en tiempo real.
Un paradigma de fusión escalable, hacia una inteligencia incorporada más general
El significado de la arquitectura Vision-Motion MoT no se limita a resolver el problema de entrenamiento del modelo Being-M0.7; establece un paradigma de fusión multimodal sostenible y escalable.
El cambio más directo de este paradigma ocurre en el nivel de datos.
Más de 10,000 horas de datos multimodales mixtos expanden las fuentes de señales de supervisión utilizables para el entrenamiento de modelos de robots humanoides, pasando de las costosas y escasas demostraciones con robots reales a los vastos datos del comportamiento humano. La relajación del cuello de botella de datos es un requisito previo para que cualquier Ley de Escalabilidad (Scaling Law) pueda establecerse.
Simultáneamente, Being-M0.7 también ajusta el orden de aprendizaje del modelo.
Antes de ser adaptado a comandos ejecutables por un robot, el modelo primero aprende el contexto visual, la dinámica futura y la estructura de la cinemática humanoide a partir de datos a gran escala centrados en el ser humano. Luego, el experto en acciones convierte estas predicciones y conocimientos previos de movimiento en comandos de control para un robot específico. En otras palabras, el modelo primero establece la capacidad de predecir estados futuros y movimientos corporales, y luego aprende cómo actuar en un cuerpo específico. Esto constituye una diferencia importante con respecto a los enfoques tradicionales de aprendizaje por imitación que aprenden directamente mapeos de acciones a partir de demostraciones de robots. Estos últimos a menudo comienzan desde "ver algo, generar alguna acción", mientras que Being-M0.7 agrega una capa de modelado conjunto de estado futuro-movimiento antes de la generación de acciones.
Lo más importante es que esta arquitectura no requiere que todos los datos nuevos tengan un emparejamiento completo de visión-movimiento. Después de la limpieza y el procesamiento, secuencias separadas de vídeo humano y movimiento pueden incorporarse al mismo modelo. A medida que la escala de datos se expanda aún más, este paradigma de fusión también tiene el potencial de ampliar continuamente los límites de capacidad.
Colocado en el sistema de coordenadas de toda la industria, el lanzamiento de Being-M0.7 quizás represente un cambio en la lógica de competencia de los robots humanoides.
En los últimos años, la atención de la industria se ha centrado más en qué cuerpo era más ágil o qué demostración de movimiento era más impresionante. A medida que el rendimiento del hardware continúa mejorando, la capacidad del modelo para comprender escenas, predecir cambios y generar acciones coordinadas de cuerpo completo, y si detrás existe un sistema de datos que pueda ampliarse continuamente, se convertirá cada vez más en la clave para marcar la diferencia.
El desarrollo de los grandes modelos de lenguaje ha demostrado que los datos escalables y la rueda de entrenamiento (training flywheel) a menudo determinan qué tan lejos puede llegar finalmente una ruta tecnológica. La inteligencia incorporada se encuentra en un punto de inflexión similar: los datos de robots reales no pueden crecer rápidamente como el corpus de Internet, ¿de dónde más pueden obtener los robots la experiencia necesaria para una evolución continua?
De Being-H a Being-M, la premisa de Being Beyond es que los robots primero aprendan sobre el mundo a partir del comportamiento humano, y luego transformen ese conocimiento en acción en el espacio físico real.
Cuando la comprensión se convierte en el prerrequisito de la acción, los robots humanoides generales realmente salen de la narrativa del laboratorio y comienzan a avanzar hacia el mundo físico de innumerables industrias y oficios.
Este artículo proviene de la cuenta oficial de WeChat "机器之心" (ID:almosthuman2014), autor: Yang Wen.
