¿Qué tan alta es realmente la montaña de los robots universales?
En el último año, han desfilado VLA, modelos base de robots y modelos del mundo.
Los demo parecen cada vez más fluidos: apilar tazones, insertar tubos, guardar objetos, verter agua, organizar el escritorio. Los robots parecen finalmente empezar a entender lo que dice la gente, comprender el mundo y trabajar con las manos.
Pero la pregunta es: ¿cuál de estos modelos es realmente más fuerte? ¿En qué aspectos? ¿Pueden pasar de la simulación al mundo real? ¿Qué tan lejos están de un verdadero robot de manipulación universal?
Ahora ha llegado un nuevo "mapa de ruta para escalar la montaña".
El mismo equipo que lanzó la serie de puntos de referencia RoboTwin presenta ahora RoboDojo: un benchmark unificado de evaluación para la operación de robots, tanto en simulación como en el mundo real.
Sitio web: https://robodojo-benchmark.com/arXiv: https://arxiv.org/abs/2607.04434Clasificación: https://robodojo-benchmark.com/LeaderBoardCódigo del benchmark: https://github.com/RoboDojo-Benchmark/RoboDojoCódigo de XPolicyLab: https://github.com/XPolicyLab/XPolicyLabComunidad: https://robodojo-benchmark.com/community
No es solo otro benchmark más. Es más bien como haber erigido un "Monte Everest" para la inteligencia encarnada:
42 tareas de simulación, 18 tareas de robot real, 30 estrategias robóticas principales compitiendo cara a cara, cubriendo cinco capacidades clave: generalización, memoria, manipulación fina, ejecución de horizonte largo y comprensión semántica abierta.
Los resultados son directos y crudos:
La mejor estrategia robótica universal actual tiene una tasa de éxito promedio en simulación de solo 8.80%. En el mundo real, la mejor tasa de éxito promedio de un modelo es solo 12.8%.
¿Y los expertos humanos? En simulación es 76.03%, en el mundo real es 100%.
Los modelos base de robots parecen haber empezado a escalar el Everest encarnado, pero la clasificación de RoboDojo muestra: la mayoría aún se están adaptando al mal de altura al pie de la montaña.
Primero, el diseño de las tareas: ¿por qué esta montaña es tan difícil?
La dificultad de RoboDojo no reside simplemente en aumentar el número de tareas, sino en que descompone la capacidad de manipulación robótica en un conjunto de "obstáculos para escalar la montaña" más cercanos al mundo real.
En el entorno de simulación, RoboDojo diseña 42 tareas, centradas en cinco capacidades centrales:
Generalización, para ver si el modelo puede adaptarse a nuevos fondos, nuevas iluminaciones, nuevos objetos y escenarios complejos y desordenados.
Memoria, para ver si el modelo puede recordar información vista previamente y usarla en acciones posteriores.
Precisión, para ver si el modelo puede completar operaciones de alta precisión como insertar, alinear, hacer contacto preciso.
Horizonte largo, para ver si el modelo puede completar tareas de múltiples pasos, con fuertes dependencias, donde los errores se acumulan.
Abierto, para ver si el modelo puede entender instrucciones semánticas abiertas no vistas antes, y convertir objetivos lingüísticos en acciones.
Estas tareas no son simples variantes de pick-and-place.
Por ejemplo, en las tareas de generalización, los objetos desordenados en el escritorio pueden aleatorizarse hasta 25, variando el fondo, la iluminación, la apariencia de los objetos y el diseño;
En las tareas de memoria, el robot necesita recordar un objeto que apareció y desapareció en una cinta transportadora, y luego seleccionar el objetivo coincidente entre candidatos posteriores;
En las tareas de manipulación fina, el robot debe completar acciones de alta tolerancia como insertar un tubo, alinear, insertar, donde un pequeño desvío significa fracaso.
Las tareas de horizonte largo se acercan más a las tareas domésticas reales: el robot no realiza una sola acción, sino que debe completar múltiples subpasos secuencialmente. Agarrar, mover, transferir, alinear, colocar. Cada paso puede introducir error, y este error se acumula hasta el final.
Pero RoboDojo no se detiene en la simulación.
Lo que realmente hace que este "Everest encarnado" sea tan alto, es que también traslada la evaluación a robots reales.
RoboDojo diseña 18 tareas del mundo real, abarcando tres plataformas de robot bimanual: ARX X5, Piper y Piper X, con 6 tareas cada una.
Estas tareas no son réplicas exactas de las de simulación, sino que están específicamente diseñadas para evaluar la capacidad de despliegue de los robots en el mundo físico real.
Por ejemplo, en ARX X5 hay tareas como tapar bloques, hacer pan, preparar comida, llenar una frutera y vaciarla, guardar en una caja fuerte, insertar un tubo; en Piper hay tareas como apilar y tapar bloques, llenar un portalápices, meter objetos en una cesta, conectar un cargador, apilar cuencos, enderezar una botella; en Piper X hay tareas como clasificar objetos, desarmar LEGO, colgar una taza, meter objetos en una mochila, barrer bloques, tapar un bolígrafo.
Estas tareas suenan cotidianas, pero para un robot no son simples.
Porque en el mundo real cada paso conlleva incertidumbre física: los objetos pueden resbalar, la pinza puede no agarrar firmemente, el brazo robótico puede tener pequeños retrasos, la cámara puede tener ruido, el contacto momentáneo puede empujar el objetivo fuera de lugar.
Lo más importante es que RoboDojo-RealEval estandariza la evaluación en robots reales: configuración de hardware unificada, disposición del espacio de trabajo, condiciones de iluminación, procedimiento de reinicio de la escena, protocolo de evaluación e interfaces de despliegue.
Antes de cada prueba, el personal de evaluación recrea la escena según un diseño preestablecido; cada prueba es puntuada por tres evaluadores de forma ciega, considerando tanto el éxito final como la completitud de los pasos intermedios.
Es decir, la parte de robot real de RoboDojo no es "grabar unos cuantos videos demo", sino convertir la operación robótica real en un examen estandarizado, reproducible, comparable y accesible de forma remota.
En otras palabras, RoboDojo no solo pregunta al robot en simulación "¿sabes resolver este problema?"; también le pregunta en el mundo real: ¿sigues siendo estable si cambias de robot? ¿Tiemblas cuando hay contacto real? ¿Puedes corregir si el objeto se desvía un poco? ¿Puedes recuperarte si cometes un error a mitad de la tarea? ¿Puedes seguir escalando la montaña fuera del campo de entrenamiento de simulación?
Este es el verdadero significado del "Everest encarnado": no es llegar a la cima en una sola habilidad, sino que tanto el diagnóstico en simulación como el despliegue en el mundo real no fallen.
Al publicar la clasificación, la brecha queda sobre la mesa
La parte central de RoboDojo es su clasificación pública.
Aquí también se diferencia de muchas evaluaciones "modelo propio, evaluación propia":
RoboDojo es iniciado y mantenido por una alianza de instituciones puramente académicas, detrás no hay intereses comerciales de desarrolladores de modelos, y la gobernanza de la clasificación está a cargo de la fundación sin fines de lucro AI MMLab Club.
En otras palabras, este "Everest encarnado" no es una plataforma de observación construida por una empresa para sí misma, sino una ruta de escalada pública abierta a toda la comunidad.
En la clasificación de simulación, el equipo integró y evaluó 30 estrategias de operación robótica representativas, incluyendo Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA, GR00T-N1.7, π0, OpenVLA-OFT, entre otras.
El primero en la clasificación es Hy-Embodied-0.5-VLA, con una puntuación promedio de 13.07 y una tasa de éxito promedio del 8.80%.
Le siguen de cerca modelos como Spatial Forcing, π0.5, X-VLA, pero el rendimiento general sigue estando en un rango muy bajo.
Incluso los modelos líderes no son verdaderamente "completos" en las cinco dimensiones de capacidad.
Algunos modelos generalizan mejor, otros son más estables en manipulación fina, otros pueden avanzar más pasos en tareas de horizonte largo, pero una vez que se mira la clasificación completa, las debilidades son muy evidentes.
Un mensaje clave de RoboDojo es: los modelos de robot actuales no es que no se muevan, sino que no son lo suficientemente estables; no es que no puedan hacer tareas en absoluto, sino que les cuesta completarlas de forma estable.
Muchas estrategias pueden completar algunos pasos, pero la tasa de éxito final es baja.
Por ejemplo, en tareas de horizonte largo, el robot puede haber agarrado el objeto, movido cerca del objetivo, pero fallar en la fase final de alineación, inserción, colocación o recuperación.
Esta es también la mayor diferencia entre la inteligencia encarnada y las tareas puramente lingüísticas o visuales: en el mundo físico, fallar por poco es igual a fallar.
La clasificación del mundo real es aún más desalentadora
Si la simulación es el "campo de entrenamiento", el robot real es la "escalada real del Everest".
En la clasificación del mundo real, el modelo con mejor rendimiento es π0.5, con una tasa de éxito general del 12.8% y una puntuación promedio de 22.9.
El grupo líder incluye a InternVLA-A1, GalaxeaVLA, Xiaomi-Robotics-0, X-VLA, etc., pero las tasas de éxito general siguen siendo solo de un dígito hasta unos diez puntos porcentuales.
Esto señala un problema muy crucial: estar relativamente arriba en simulación no garantiza estabilidad en el mundo real.
Los robots reales introducen dificultades adicionales: ruido de cámara, errores de calibración, retrasos del brazo robótico, inestabilidad del contacto, temblores en los movimientos, límites de seguridad, pequeñas desviaciones en la posición inicial de los objetos. Estas cosas a menudo no se ven en los videos demo, pero en una evaluación estandarizada se exponen de manera concentrada.
El significado de RoboDojo también está aquí: no solo pregunta "¿el robot tuvo éxito?", sino que pregunta:
¿Puede esta estrategia superar un examen integral en simulación y, al mismo tiempo, enfrentar los desafíos en el mundo real?
¿Por qué se dice que es el "Everest encarnado"?
Viendo los resultados, RoboDojo expone una realidad: el crecimiento de capacidad de los modelos base de robots actuales no es equilibrado.
Algunos modelos pueden identificar objetivos mejor, otros pueden ejecutar acciones más fluidamente, otros pueden avanzar más pasos en tareas de horizonte largo.
Pero un verdadero robot universal no puede ser fuerte solo en una dimensión de capacidad.
Debe poder ver y entender, pero también recordar; debe poder planificar correctamente, pero también tener precisión manual; debe poder manejar tareas familiares, pero también entender instrucciones abiertas; debe funcionar en simulación, pero también ejecutarse de forma estable en un brazo robótico real.
Y los resultados experimentales de RoboDojo muestran que los modelos actuales todavía tienen brechas evidentes en estas dimensiones.
El ejemplo más típico son las tareas Open. Incluso el modelo más fuerte tiene una tasa de éxito en tareas semánticas abiertas de solo aproximadamente 1.67%.
Esto significa que los modelos base de robots actuales aún están notablemente lejos de "entender realmente el lenguaje humano y trabajar de manera confiable".
Pueden imitar en tareas familiares, pero frente a nuevos objetivos, nueva semántica, nuevas combinaciones, la cadena de comprensión semántica, localización visual, selección de habilidades y ejecución de acciones sigue siendo frágil.
Esta es precisamente la dificultad del Everest encarnado: no es llegar a la cima en una sola habilidad, sino que todas las capacidades deben mantenerse firmes.
No es solo una evaluación, es una infraestructura integral
RoboDojo tiene otros dos componentes importantes.
Uno es la simulación paralela heterogénea.
El paralelismo tradicional en simulación a menudo implica replicar la misma escena, solo cambiando la posición inicial; RoboDojo permite ejecutar simultáneamente diferentes tareas, diferentes objetos, diferentes disposiciones, mejorando enormemente la eficiencia de evaluación.
El otro es XPolicyLab.
Es equivalente a la "capa de acceso unificada" detrás de RoboDojo, diseñada para resolver un problema muy real en la evaluación de estrategias robóticas: diferentes modelos suelen tener diferentes formatos de datos, flujos de preprocesamiento, scripts de entrenamiento, representaciones de acciones y entornos de despliegue. Ponerlos en la misma clasificación para una comparación justa tiene un costo de ingeniería muy alto.
Lo que hace XPolicyLab es estandarizar estos flujos externos.
Proporciona conversión de datos unificada, plantillas de entrenamiento, flujos de despliegue y scripts de evaluación, manteniendo al mismo tiempo la estructura e implementación propia de cada estrategia.
Así, diferentes estrategias robóticas solo necesitan conectarse a la interfaz de observation-action unificada para poder ejecutarse en el entorno de simulación de RoboDojo y en la plataforma de robot real RoboDojo-RealEval.
En este artículo, el equipo ya ha integrado 30 modelos representativos de operación robótica a través de XPolicyLab.
Para los investigadores, esto significa que los modelos pueden "conectarse una vez, evaluarse en múltiples lugares": primero iterar rápidamente en simulación, diagnosticar deficiencias, luego desplegar en robots reales para pruebas estandarizadas.
Por ello, RoboDojo no es solo un benchmark estático en un artículo, sino un campo de competición de inteligencia encarnada que se puede actualizar continuamente.
Los modelos pueden subir constantemente en la clasificación, las tareas pueden expandirse, y la evaluación en robots reales también se puede acceder de forma remota.
Para el campo de los modelos base de robots, esto es muy importante.
Porque en el camino hacia los robots de manipulación universales, no solo se necesitan modelos más grandes, demos más impresionantes, sino también una "escala de altitud" que pueda medir repetidamente el progreso.
La inteligencia encarnada, finalmente tiene una montaña más alta
En el pasado, el campo de la robótica a menudo era impulsado por demos.
Un modelo que podía completar algunas tareas llamativas fácilmente creaba la ilusión de que "el robot universal está cerca".
Pero la conclusión de RoboDojo es más sobria: los modelos actuales ciertamente están progresando, pero aún están muy lejos de una operación robótica universal confiable, generalizable y desplegable.
Esto no es una mala noticia.
Por el contrario, RoboDojo deja claro el problema: ¿quién generaliza? ¿quién olvida? ¿quién tiene movimientos temblorosos? ¿quién solo hace la mitad? ¿quién se queda atrás en el mundo real? ¿quién puede escalar en la clasificación?
La inteligencia encarnada finalmente no solo compite en videos promocionales, sino que comienza a competir en resultados reales en una pista estandarizada.
Este "Everest encarnado" ya está erigido. Lo siguiente, es ver quién llega primero a la cima.
Introducción del responsable del proyecto
Tianxing Chen, estudiante de doctorado directo en HKU MMLab, supervisado por el profesor Ping Luo.
Ha publicado más de diez artículos en conferencias líderes como ICML, CVPR, ICLR, RSS, y ha ganado múltiples premios al mejor artículo en talleres de conferencias, así como campeonatos y subcampeonatos en competiciones académicas. Reconocido como AI25 (Joven Innovador en IA menor de 25 años) por Sequoia China y MIT Technology Review China, Premio Especial de la Universidad de Shenzhen (máximo honor estudiantil), y Estudiante Universitario Destacado CCF (99 personas a nivel nacional). Primer autor de RoboTwin 2.0, fundador de la comunidad de código abierto líder en encarnación Lumina, proyectos de código abierto acumulan casi veinte mil estrellas en GitHub.
Yue Chen, estudiante de maestría en la Universidad de Pekín, cuya investigación principal se centra en la representación visual 3D y la simulación robótica.
Hasta la fecha, ha publicado más de 10 artículos de alto nivel CCF Clase A y CAAI Clase A, varios resultados aceptados como Oral o Spotlight, trabajos relacionados han ganado premios al mejor artículo en talleres de conferencias internacionales como CVPR, IROS. Ha recibido la Beca Nacional, y el honor de Estudiante Triple Excelencia de la Universidad de Pekín.
Expansión futura
El equipo de RoboDojo continuará produciendo evaluaciones para manipulación diestra, operación móvil, operación táctil, operación corporal completa de robots humanoides, etc. Todos están invitados a seguir prestando atención.
*Este artículo ha sido publicado con autorización de Quantum Bits. Los puntos de vista son únicamente del autor original.
Este artículo proviene del WeChat oficial account "量子位" (Quantum Bits), autor: Yunzhong
