L’intelligence incarnée en épreuve suprême : les modèles les plus puissants ne font que 12,8%, quand l’humain atteint 100
L'évaluation RoboDojo, un nouveau benchmark unifié pour l'intelligence incarnée en robotique, révèle l'écart considérable entre les modèles actuels et une capacité opérationnelle générale et fiable. Ce "Mont Everest de l'incarnation" évalue 30 stratégies robotiques principales sur 42 tâches en simulation et 18 tâches en monde réel, couvrant la généralisation, la mémoire, la précision, les tâches à long horizon et la compréhension sémantique ouverte.
Les résultats sont sévères : dans l'environnement simulé, la meilleure stratégie, Hy-Embodied-0.5-VLA, n'atteint qu'un taux de réussite moyen de 8,80%. Dans le monde réel, le modèle le plus performant, π0.5, n'atteint que 12,8% de réussite. En comparaison, un expert humain atteint 76,03% en simulation et 100% sur les tâches réelles.
RoboDojo se distingue en standardisant également l'évaluation sur robots physiques (RoboDojo-RealEval) avec des protocoles reproductibles, exposant ainsi les défis de l'incertitude physique, du bruit des capteurs et de la dérive des actionneurs. La plateforme XPolicyLab facilite l'intégration et la comparaison équitable des modèles.
Le benchmark met en lumière les limites actuelles : aucune approche n'est compétente sur toutes les capacités, et les performances chutent drastiquement face à des instructions sémantiques ouvertes (environ 1,67% de réussite). RoboDojo établit ainsi une référence communautaire et ouverte, essentielle pour mesurer les progrès vers des robots polyvalents véritablement capables de comprendre et d'agir dans le monde physique.
marsbit07/08 11:55
