À quel point la montagne du robot généraliste est-elle haute ?
L’année dernière, les modèles VLA, les modèles de base pour la robotique, les modèles du monde se sont succédé.
Les démonstrations semblent de plus en plus fluides : empiler des bols, insérer un tube, ranger, verser de l’eau, organiser un bureau, les robots semblent enfin comprendre les instructions humaines, le monde et se mettre à travailler.
Mais la question est la suivante : ces modèles, lesquels sont plus performants ? Où sont-ils forts ? Peuvent-ils passer de la simulation au monde réel ? À quelle distance se trouvent-ils du robot opérationnel véritablement généraliste ?
Maintenant, une nouvelle "carte d'ascension" est arrivée.
L’équipe à l’origine de la série de benchmarks RoboTwin présente maintenant RoboDojo : un benchmark unifié d'évaluation de la manipulation robotique, combinant simulation et monde réel.
Site Web : https://robodojo-benchmark.com/arXiv : https://arxiv.org/abs/2607.04434Classement : https://robodojo-benchmark.com/LeaderBoardCode du benchmark : https://github.com/RoboDojo-Benchmark/RoboDojoCode XPolicyLab : https://github.com/XPolicyLab/XPolicyLabCommunauté : https://robodojo-benchmark.com/community
Ce n’est pas juste un autre benchmark, mais plutôt une sorte d’"Everest" pour l'intelligence incarnée :
42 tâches en simulation, 18 tâches sur robot réel, 30 stratégies robotiques majeures comparées, couvrant cinq capacités clés : généralisation, mémoire, manipulation fine, exécution à long terme, compréhension sémantique ouverte.
Le résultat est direct et sans appel :
La meilleure stratégie robotique générale actuelle n’atteint qu’un taux de réussite moyen de 8,80 % en simulation. Dans le monde réel, le meilleur modèle ne dépasse que 12,8 % de réussite moyenne.
Et les experts humains ? 76,03 % en simulation, et 100 % dans le monde réel.
Les modèles de base pour la robotique semblent avoir commencé l’ascension de l’Everest de l’incarnation, mais le classement RoboDojo montre qu’ils sont pour la plupart encore au pied de la montagne, à s’adapter au mal de l’altitude.
Examinons d'abord la conception des tâches : pourquoi cette montagne est-elle si difficile ?
La difficulté de RoboDojo ne réside pas dans le simple empilement de tâches, mais dans sa décomposition des capacités de manipulation robotique en une série de "étapes d'ascension" plus proches du monde réel.
Dans l’environnement simulé, RoboDojo conçoit 42 tâches, articulées autour de cinq capacités fondamentales :
Généralisation, pour voir si le modèle peut s’adapter à de nouveaux arrière-plans, éclairages, objets et scènes complexes et encombrées.
Mémoire, pour voir si le modèle peut se souvenir d'informations précédemment vues et les utiliser dans ses actions ultérieures.
Précision, pour voir si le modèle peut accomplir des manipulations de haute précision comme l'insertion, l'alignement, le contact précis.
Long terme, pour voir si le modèle peut accomplir des tâches multi-étapes, fortement dépendantes, où les erreurs s’accumulent.
Ouverture, pour voir si le modèle peut comprendre des instructions sémantiques ouvertes et nouvelles, et transformer un objectif langagier en actions.
Ces tâches ne sont pas de simples variantes de pick-and-place.
Par exemple, dans les tâches de généralisation, les objets sur la table peuvent être randomisés jusqu'à 25, avec des changements d'arrière-plan, d'éclairage, d'apparence des objets et de disposition ;
Dans les tâches de mémoire, le robot doit se souvenir d’un objet apparu puis disparu sur un tapis roulant, puis sélectionner la cible correspondante parmi des objets candidats ultérieurs ;
Dans les tâches de manipulation fine, le robot doit accomplir des actions à tolérance d'erreur très faible comme insérer un tube, aligner, insérer, où un léger décalage entraîne l'échec.
Les tâches longues terme sont plus proches des tâches ménagères réelles : le robot n’effectue pas une seule action, mais doit accomplir plusieurs sous-étapes successives. Saisir, déplacer, passer, aligner, poser, chaque étape peut introduire une erreur, et ces erreurs s'accumulent jusqu'à la fin.
Mais RoboDojo ne s'arrête pas à la simulation.
Ce qui rend vraiment cet "Everest incarné" si élevé, c’est qu’il déplace aussi l’évaluation sur des robots physiques réels.
RoboDojo conçoit 18 tâches du monde réel, couvrant trois plates-formes de robots à deux bras : ARX X5, Piper, Piper X, avec 6 tâches chacune.
Ces tâches ne sont pas une simple copie des tâches simulées, mais sont spécifiquement conçues pour évaluer la capacité de déploiement des robots dans le monde physique réel.
Par exemple, sur l'ARX X5, il y a des tâches comme couvrir des blocs, faire du pain, préparer de la nourriture, remplir un fruit et le vider, ranger dans un coffre-fort, insérer un tube ; sur Piper, empiler et couvrir des blocs, remplir un pot à crayons, mettre des objets dans un panier, brancher un chargeur, empiler des bols, redresser une bouteille ; sur Piper X, trier des objets, démonter des Lego, accrocher une tasse, ranger des objets dans un sac à dos, balayer des blocs, mettre un capuchon sur un stylo, etc.
Ces tâches semblent très quotidiennes, mais pour un robot, elles ne sont pas simples.
Car dans le monde réel, chaque étape comporte une incertitude physique : les objets peuvent glisser, la pince peut mal saisir, le bras robotique peut avoir un léger retard, la caméra peut avoir du bruit, le contact initial peut pousser la cible de côté.
Surtout, RoboDojo-RealEval standardise l'évaluation sur robots physiques : configuration matérielle unifiée, disposition de l'espace de travail, conditions d'éclairage, procédure de réinitialisation de la scène, protocole d'évaluation et interface de déploiement.
Avant chaque test, l'évaluateur reconstitue la scène selon une disposition prédéfinie ; chaque essai est ensuite noté en double aveugle par trois examinateurs, considérant à la fois la réussite finale et l'accomplissement des étapes intermédiaires.
Autrement dit, la partie robot physique de RoboDojo ne consiste pas à "filmer quelques démos", mais à transformer la manipulation robotique réelle en un examen standardisé reproductible, comparable et accessible à distance.
En d’autres termes, RoboDojo ne demande pas seulement aux robots en simulation "sais-tu résoudre ce problème", mais interroge aussi dans le monde réel : es-tu toujours stable sur un autre robot ? Sais-tu gérer le contact physique réel sans trembler ? Peux-tu corriger si l'objet est un peu décalé ? Peux-tu récupérer si tu te trompes en cours de tâche ? Peux-tu continuer à grimper en quittant le terrain d'entraînement simulé ?
C'est la véritable signification de l'"Everest incarné" : il ne s'agit pas d'atteindre le sommet dans une seule capacité, mais de ne pas faillir sur les deux fronts du diagnostic en simulation et du déploiement réel.
Le classement publié, les écarts sont sur la table
L'élément central de RoboDojo est son classement public.
C’est aussi ce qui le différencie de nombreuses évaluations "modèle testé par son propre créateur" :
RoboDojo est lancé et maintenu par un consortium d'institutions purement académiques, sans lien d'intérêt avec des acteurs commerciaux, et la gouvernance du classement est assurée par la fondation à but non lucratif AI MMLab Club.
En d'autres termes, cet "Everest incarné" n'est pas une plateforme d'observation construite par une entreprise pour elle-même, mais un itinéraire d'ascension public ouvert à toute la communauté.
Dans le classement de simulation, l'équipe a intégré et évalué 30 stratégies de manipulation robotique représentatives, incluant Hy-Embodied-0.5-VLA, Spatial Forcing, π0.5, X-VLA, GR00T-N1.7, π0, OpenVLA-OFT, etc.
En tête du classement, Hy-Embodied-0.5-VLA, avec un score moyen de 13,07 et un taux de réussite moyen de 8,80 %.
Suivi de près par Spatial Forcing, π0.5, X-VLA et autres modèles, mais les performances globales restent dans un intervalle très bas.
Même parmi les modèles leaders, aucun n’est véritablement "polyvalent" sur les cinq dimensions de capacités.
Certains modèles généralisent mieux, d'autres sont plus stables en manipulation fine, d'autres avancent plus dans les tâches longues terme, mais une fois placés sur le classement complet, leurs points faibles apparaissent clairement.
Un message clé de RoboDojo est : les modèles robotiques actuels ne sont pas incapables de bouger, mais sont insuffisamment stables ; ils ne sont pas complètement incapables d'accomplir des tâches, mais ont du mal à les accomplir de manière stable jusqu'au bout.
De nombreuses stratégies peuvent accomplir certaines étapes, mais le taux de réussite final est faible.
Par exemple, dans une tâche longue terme, le robot peut avoir saisi l'objet, l'avoir déplacé près de la cible, mais échouer au moment final de l'alignement, de l'insertion, du placement ou de la récupération.
C'est aussi la plus grande différence entre l'intelligence incarnée et les tâches purement langagières ou visuelles : dans le monde physique, manquer de peu, c'est échouer.
Le classement du monde réel est plus dérangeant
Si la simulation est encore un "terrain d'entraînement", le robot réel est le "site réel de l'Everest".
Dans le classement du monde réel, le modèle le plus performant est π0.5, avec un taux de réussite global de 12,8 % et un score moyen de 22,9.
Le peloton de tête comprend InternVLA-A1, GalaxeaVLA, Xiaomi-Robotics-0, X-VLA, etc., mais les taux de réussite globaux restent entre quelques pourcents et une douzaine de points.
Cela met en lumière un problème crucial : être relativement bien placé en simulation ne garantit pas la stabilité dans le monde réel.
Le robot réel introduit des difficultés supplémentaires : bruit de caméra, erreurs d'étalonnage, délai du bras mécanique, instabilité du contact, tremblements des mouvements, limites de sécurité, déviations infimes de la position initiale des objets. Ces éléments sont souvent invisibles dans les vidéos de démo, mais s'exposent de manière concentrée dans une évaluation standardisée.
C’est aussi là que réside la signification de RoboDojo : il ne demande pas seulement "le robot a-t-il réussi", mais demande :
Cette stratégie peut-elle réussir l'examen complet en simulation, tout en étant capable de relever les défis du monde réel ?
Pourquoi parle-t-on d'"Everest incarné" ?
D'après les résultats, RoboDojo révèle un constat très réaliste : la croissance des capacités des modèles de base robotiques actuels n'est pas équilibrée.
Certains modèles identifient mieux les cibles, d'autres exécutent les actions plus fluidement, d'autres progressent davantage dans les étapes des tâches longues terme.
Mais un véritable robot généraliste ne peut pas être fort sur une seule dimension de capacité.
Il doit à la fois comprendre et se souvenir ; planifier correctement et agir avec précision ; être capable de traiter des tâches familières et comprendre des instructions sémantiques ouvertes ; fonctionner en simulation et exécuter de manière stable sur un bras robotique réel.
Et les résultats expérimentaux de RoboDojo montrent que les modèles actuels présentent encore des lacunes évidentes sur ces dimensions.
Le plus typique est la tâche Open. Même le modèle le plus puissant n'atteint qu'un taux de réussite d'environ 1,67 % sur les tâches sémantiques ouvertes.
Cela signifie que les modèles de base robotiques actuels sont encore loin d’"écouter et exécuter de manière fiable".
Ils peuvent imiter sur des tâches familières, mais face à de nouveaux objectifs, une nouvelle sémantique, de nouvelles combinaisons, la chaîne comprenant compréhension sémantique, localisation visuelle, sélection des compétences et exécution des actions reste fragile.
C’est précisément la difficulté de l'Everest incarné : il ne s'agit pas d'atteindre le sommet sur un seul point, mais de ne faillir sur aucune capacité.
Plus qu'une évaluation, c'est une infrastructure
RoboDojo comprend deux autres éléments importants.
L'un est la simulation hétérogène parallèle.
Le parallélisme traditionnel en simulation reproduit souvent la même scène, ne modifiant que la position initiale ; RoboDojo permet d'exécuter simultanément différentes tâches, différents objets, différentes dispositions, améliorant considérablement l'efficacité de l'évaluation.
L'autre est XPolicyLab.
C'est en quelque sorte la "couche d'accès unifiée" derrière RoboDojo, conçue pour résoudre un problème très pratique dans l'évaluation des stratégies robotiques : différents modèles ont souvent des formats de données, des pipelines de prétraitement, des scripts d'entraînement, des représentations d'actions et des environnements de déploiement différents, et les comparer équitablement sur le même classement a un coût technique très élevé.
XPolicyLab standardise ces processus externes.
Il fournit une conversion de données unifiée, des modèles d'entraînement, un pipeline de déploiement et des scripts d'évaluation, tout en préservant la structure et l'implémentation propres à chaque stratégie.
Ainsi, différentes stratégies robotiques n'ont qu'à se connecter via une interface observation-action unifiée pour fonctionner dans l'environnement de simulation RoboDojo et sur la plateforme robotique physique RoboDojo-RealEval.
Dans cet article, l'équipe a déjà intégré 30 modèles représentatifs de manipulation robotique via XPolicyLab.
Pour les chercheurs, cela signifie que les modèles peuvent "se connecter une fois, être évalués en de nombreux endroits" : itérer rapidement en simulation, diagnostiquer les points faibles, puis se déployer sur des robots physiques pour subir des tests standardisés.
C’est pourquoi RoboDojo n'est pas seulement un benchmark statique dans un article, mais une arène d'intelligence incarnée pouvant être mise à jour en continu.
Les modèles peuvent constamment entrer dans le classement, les tâches peuvent s'étendre, et l'évaluation sur robots physiques peut également être accessible à distance.
Pour le domaine des modèles de base pour la robotique, c'est important.
Car sur la voie menant au robot opérationnel généraliste, nous avons besoin non seulement de modèles plus grands, de démos plus impressionnantes, mais aussi d'une "échelle d'altitude" capable de mesurer à répétition les progrès.
L'intelligence incarnée a enfin une montagne plus haute
Par le passé, le domaine de la robotique était souvent poussé par les démonstrations.
Un modèle capable d'accomplir quelques belles tâches pouvait facilement donner l'illusion que "le robot généraliste arrive bientôt".
Mais la conclusion de RoboDojo est plus froide : les modèles actuels progressent certes, mais sont encore très loin d'un robot opérationnel généraliste fiable, capable de généraliser et de se déployer.
Ce n'est pas une mauvaise nouvelle.
Au contraire, RoboDojo clarifie les problèmes : qui généralise, qui oublie, qui tremble, qui ne fait que la moitié, qui décroche dans le monde réel, qui peut grimper dans le classement.
L'intelligence incarnée ne se contente plus de rivaliser par des vidéos promotionnelles, mais commence à rivaliser par de vrais résultats sur une piste standardisée.
Cet "Everest incarné" est désormais dressé. Ensuite, il reste à voir qui atteindra le sommet en premier.
Présentation des responsables du projet
Chen Tianxing, doctorant direct à HKU MMLab, supervisé par le professeur Luo Ping.
Auteur de plus de dix articles dans des conférences de premier plan telles qu'ICML, CVPR, ICLR, RSS, lauréat de plusieurs prix de meilleur article dans des ateliers de conférences et de championnats/accolades dans des compétitions académiques.
Sélectionné parmi les AI25 (Jeunes Pionniers de l'Innovation IA de moins de 25 ans) par Sequoia China et MIT Technology Review China, Prix Spécial de l'Université de Shenzhen (plus haute distinction étudiante), Étudiant Excellent du CCF (99 personnes en Chine).
Premier auteur de RoboTwin 2.0, fondateur de la communauté open source d'incarnation majeure Lumina, les projets open source ont accumulé près de 20 000 étoiles sur GitHub.
Chen Yue, étudiant en master à l'Université de Pékin, ses recherches portent principalement sur la représentation visuelle 3D et la simulation robotique.
À ce jour, a publié plus de 10 articles de haut niveau classés CCF A et CAAI A, plusieurs travaux présentés sous forme d'Oral ou Spotlight, les travaux connexes ont reçu des prix de meilleur article lors d'ateliers de conférences internationales comme CVPR, IROS. Récipiendaire de la Bourse Nationale, honneur d'Étudiant Modèle de l'Université de Pékin.
Extensions futures
L'équipe RoboDojo continuera à publier des évaluations pour la manipulation dextre, la manipulation mobile, la manipulation tactile, la manipulation corporelle humanoïde complète, etc. Restez à l'écoute.
*Cet article est republié avec l'autorisation de Quantum Bits, les opinions exprimées sont celles de l'auteur original.
Cet article provient du compte WeChat public "Quantum Bits", auteur : Yunzhong
