10000 heures de données humaines pour former le premier modèle d'action et de monde implicite pour la manipulation mobile complète du corps humain
Ces deux dernières années, la compétition dans le domaine des robots humanoïdes s'est déplacée des capacités matérielles vers les modèles d'intelligence. Alors que les démonstrations physiques impressionnent, le véritable défi réside dans la capacité des robots à comprendre l'environnement, prévoir les changements et coordonner des actions motrices complexes pour des tâches généralistes.
Pour relever ce défi, la société d'intelligence incarnée Being Beyond a présenté **Being-M0.7**, présenté comme le premier **modèle d'action-monde latent (Latent WAM)** conçu pour la locomotion et la manipulation complètes des robots humanoïdes. Ce modèle innove en étendant les capacités des modèles de monde latent, habituellement appliqués à la manipulation, à la coordination mobile de tout le corps.
La clé de Being-M0.7 réside dans son entraînement préalable sur plus de **10 000 heures de données multimodales centrées sur l'humain** (vidéos à la première personne, séquences de mouvement), suivies d'un ajustement avec une quantité limitée de données de démonstration sur robot réel. Cette approche contourne la rareté et le coût élevé des données robotiques.
Techniquement, le modèle utilise une architecture **Vision-Motion Mixture of Transformers (MoT)**. Cette conception lui permet de traiter simultanément trois types de données : des paires vidéo-mouvement, des vidéos seules et des séquences de mouvement seules, maximisant ainsi l'utilisation des données disponibles. Il opère dans un **espace latent**, prédisant l'évolution future de l'environnement et les trajectoires de mouvement de manière couplée, ce qui est plus efficace que la prédiction pixel par pixel coûteuse en calcul.
Pour unifier les données humaines et robotiques, l'équipe a développé une **représentation du mouvement unifiée et compacte**, alignée sur la perspective à la première personne et centrée sur la tête, les mains et les pieds, facilitant le transfert de connaissances.
Les démonstrations sur le robot humanoïde Unitree G1 ont testé des tâches complexes nécessitant une compréhension physique et une coordination complète du corps :
* **Pêcher un poisson dans un aquarium** : Interaction avec un liquide et des cibles dynamiques.
* **Prendre un objet via un miroir** : Raisonnement spatial avec observation partielle.
* **Déplacer et prendre des objets en se déplaçant** : Tâche à long terme avec coordination continue.
* **Porter une boîte et éviter des obstacles** : Navigation avec charge et perception de l'environnement.
Dans ces tests, Being-M0.7 a montré des performances compétitives par rapport à d'autres modèles de base, démontrant une capacité accrue à générer des actions corporelles coordonnées en fonction de la compréhension de la scène et des prédictions.
Le processus de déploiement sur robot utilise un **"expert en action"** léger qui traduit les prédictions de haut niveau du modèle latent en commandes de contrôle spécifiques au robot, permettant un **planification mondiale à basse fréquence** couplée à un **contrôle d'action à haute fréquence**.
En conclusion, Being-M0.7 représente une avancée significative vers des robots humanoïdes plus généraux. Son architecture MoT et son utilisation de vastes données humaines établissent un paradigme évolutif pour l'apprentissage incarné, où la compréhension du monde, apprise de l'expérience humaine, précède et guide l'action physique dans l'environnement réel.
marsbit07/15 01:55
