10000 heures de données humaines pour former le premier modèle d'action et de monde implicite pour la manipulation mobile complète du corps humain

Au cours des deux dernières années, la compétition dans le domaine des robots humanoïdes s'est déplacée progressivement du matériel de l'ensemble de la machine vers les capacités des modèles.

Les fabricants de machines complètes ont intensément lancé de nouveaux produits, avec des vidéos de saltos, de danse et de marathon qui ont inondé les écrans. Mais derrière ce tumulte, l'industrie a également formé un consensus : ce qui détermine la limite des capacités d'un robot humanoïde n'est plus seulement les articulations et les moteurs. Sa capacité à comprendre l'environnement, à anticiper les changements et à coordonner l'ensemble du corps pour accomplir des tâches devient la clé de son passage à la généralité.

Les modèles du monde, les VLA (Vision-Language-Action) et les modèles de base pour robots humanoïdes sont ainsi devenus l'une des orientations technologiques les plus importantes de ce domaine ces deux dernières années.

Dans cette effervescence, trois défis majeurs demeurent devant toute l'industrie.

Premièrement, la collecte de données de démonstration sur des robots humanoïdes physiques est coûteuse. Elle nécessite l'enregistrement simultané de vidéos à la première personne, de données de perception proprioceptives et d'instructions exécutables pour l'ensemble du corps. Limitée par la difficulté de la téléopération, les risques de sécurité, la disponibilité du matériel et la diversité des environnements, il est très difficile d'accumuler rapidement des données à grande échelle et de haute qualité.

Deuxièmement, de nombreux modèles d'action et de monde existants suivent encore l'approche de la prédiction vidéo au niveau des pixels, ce qui entraîne des coûts de calcul élevés. Une grande partie de la capacité est consommée par des détails visuels faiblement liés au contrôle. Les mouvements rapides du robot humanoïde et les tremblements du point de vue amplifient encore le bruit de prédiction visuelle.

Troisièmement, de nombreuses solutions actuelles modélisent encore séparément la manipulation des membres supérieurs et le contrôle de la mobilité, ce qui entraîne une coordination insuffisante entre le haut et le bas du corps et rend difficile un contrôle fluide et naturel de l'ensemble du corps.

C'est dans ce contexte que l'entreprise d'intelligence incarnée "Beyond Intelligence" (Zhizai Wujie) a publié Being-M0.7. Il s'agit du premier modèle d'action et de monde implicite (Latent World-Action Model, abrégé Latent WAM) au monde conçu pour la manipulation mobile complète des robots humanoïdes. C'est également la première fois dans l'industrie que la capacité d'un modèle du monde implicite est étendue de la manipulation dextre sur table à la manipulation mobile complète.

• Lien vers l'article : https://research.beingbeyond.com/being-m07/being-m07.pdf
• Page du projet : https://research.beingbeyond.com/being-m07

Il a été pré-entraîné sur plus de 10 000 heures de données multimodales centrées sur l'humain, puis adapté à un corps spécifique via une petite quantité de données de démonstration réelle, et a accompli plusieurs tâches difficiles de manipulation mobile complète sur un véritable robot humanoïde.

De Being-H à Being-M, une feuille de route technologique qui se concrétise

Behind Being-M0.7 lies a technological path that Beyond Intelligence has adhered to for many years.

Cette entreprise est l'une des premières au monde à miser sur une voie d'entraînement à grande échelle sur des vidéos humaines dans le domaine de l'intelligence incarnée, développant simultanément deux lignes principales de modèles : la manipulation dextre générale et la manipulation mobile et dextre générale. Elle est également la première équipe en Chine à avoir lancé un modèle d'action et de monde implicite natif pour l'intelligence incarnée.

Le jugement central de cette feuille de route est que les données de démonstration réelle des robots sont coûteuses et rares, et qu'il est difficile d'en augmenter continuellement l'échelle comme le texte et les vidéos d'Internet. En comparaison, les humains interagissent quotidiennement avec le monde physique du point de vue de la première personne. Ces vastes données de comportement humain contiennent des préconceptions riches sur l'évolution des scènes, la dynamique des objets et la coordination corporelle. Plutôt que d'attendre l'accumulation lente de données robotiques, il vaut mieux d'abord laisser le modèle apprendre le fonctionnement du monde à partir de l'expérience humaine, puis transférer ces connaissances vers un corps robotique spécifique.

Being-H0.7, publié en avril dernier, a validé la faisabilité de ce jugement pour la manipulation dextre. Ce modèle a étendu l'échelle des données d'entraînement à 200 000 heures de vidéos humaines, obtenant la première place globale dans 6 évaluations internationales, avec 4 classements au sommet, et est devenu le premier modèle du monde général pour l'intelligence incarnée couvrant sept dimensions clés : inter-corps, inter-scènes, dynamique continue, fluides, objets flexibles, lois physiques et raisonnement contextuel.

Being-M0.7 est le dernier résultat de cette voie de modèle d'action et de monde implicite.

Si la série Being-H répond à la question de savoir comment la main manipule le monde, Being-M0.7 répond à la question de savoir comment le corps entier se déplace et travaille de manière coordonnée dans le monde. La manipulation mobile et dextre (loco-manipulation) des robots humanoïdes exige que le modèle décide simultanément où aller, comment orienter le corps, comment coordonner les mains et les pieds, et comment maintenir une posture stable. C'est un problème fortement couplé à la fois dans la dimension temporelle et dans la dimension corporelle, et c'est aussi un passage obligé pour les robots humanoïdes généraux.

Being-M0.7 est un modèle d'action et de monde implicite, pré-entraîné d'abord sur des vidéos à la première personne et des données de mouvement humain, utilisant une architecture Mixture of Transformers (MoT); ensuite, via un post-entraînement par un expert en action, il est finalisé pour le contrôle sur des données de trajectoires robotiques pour des tâches variées de manipulation complète du corps.

Contrairement à de nombreux modèles du monde qui dépendent de la génération vidéo au niveau des pixels, Being-M0.7 prédit les futurs états de l'environnement dans un espace latent et les couple à une représentation compacte du mouvement de l'ensemble du corps. La prédiction au niveau des pixels est coûteuse en calcul, et une grande partie de la puissance de calcul est consommée par des détails d'apparence peu liés au contrôle. Les mouvements rapides du robot et les tremblements du point de vue en première personne rendent les prédictions très bruitées. La prédiction dans l'espace latent concentre la capacité de modélisation sur les états sémantiques, la disposition des objets et l'évolution de la scène – des structures réellement pertinentes pour le contrôle – préservant ainsi l'essence prédictive du modèle du monde tout en réduisant considérablement les coûts de calcul.

Comment la compréhension physique se transforme-t-elle en action corporelle totale ?

La question de savoir si le modèle possède réellement la capacité de manipulation mobile complète doit finalement être testée dans des scènes réelles.

Autour de Being-M0.7, Beyond Intelligence a publié quatre démonstrations sur machine réelle, couvrant quatre types de scènes extrêmement difficiles : l'interaction avec les liquides, le raisonnement par miroir, les tâches à long terme et l'évitement d'obstacles avec occultation.

Ces tâches testent toutes une question : le robot peut-il, sur la base de sa prédiction de l'environnement et des changements futurs, générer de manière continue des actions corporelles complètes adaptées à la scène actuelle.

Pêcher un poisson dans un aquarium

Le robot s'approche d'un aquarium et utilise un filet à main pour attraper un poisson jouet dans l'eau. Le liquide n'a pas de forme fixe, il s'écoule, exerce une poussée et une résistance sur les objets qui y sont immergés, et la réfraction à la surface de l'eau peut déplacer la position visuelle des objets sous-marins. Le robot doit comprendre l'interaction entre l'eau, le filet et le poisson, et coordonner son bras pour effectuer une capture outillée d'une cible dynamique, même lorsque l'information visuelle est déformée par l'eau. Cette tâche teste précisément la capacité de prédiction de l'état futur, d'utilisation d'outils et de coordination motrice face à une dynamique incertaine des objets.

Pour l'étape de pêche du poisson dans cette tâche, Being-M0.7 a réussi 3 fois sur 5 tests. En comparaison,

était de 2/5, et GR00T-N1.6 de 1/5.

Récupérer un objet via un miroir

Le robot est face à une boîte qui n'est ouverte qu'à l'arrière et sur les côtés. L'objet à l'intérieur est totalement invisible de son propre point de vue. La seule indication provient de la réflexion dans le miroir placé devant lui. Le robot doit, en se basant sur l'image du miroir, déduire la position de l'objet caché dans l'espace tridimensionnel réel, puis s'approcher de la boîte et tendre la main pour l'attraper. Cela exige du modèle qu'il comprenne les relations spatiales entre le miroir, la boîte et l'objet, ainsi que les principes de la réflexion, et qu'il transforme des preuves visuelles indirectes en actions exécutables dans des conditions d'observation partielle.

Dans des tests comparatifs sur machine réelle avec

, GR00T-N1.6, avec deux distances de 0,5 mètre et 1 mètre, Being-M0.7 a réussi respectivement 3 fois et 1 fois sur 5 tests, pour un total de 4/10 ;

et GR00T ont tous deux obtenu un score total de 1/10.

Ce résultat indique que Being-M0.7 a démontré une capacité d'adaptation plus forte dans les tâches à observation partielle nécessitant un raisonnement visuel indirect, une approche corporelle complète et une saisie fine.

Déplacer, placer et prendre des objets

Le robot marche jusqu'à une table, transfère une baguette d'un panier à un autre, puis prend un bouquet de fleurs dans le panier et s'éloigne en se retournant. La tâche est constituée de plusieurs sous-tâches enchaînées. Le robot doit alterner de manière continue entre la marche, la saisie, le transfert, le virage, etc., tout en maintenant une compréhension continue de la scène tout au long du processus. Cela ne teste pas seulement le taux de réussite d'une saisie unique, mais aussi le maintien de l'état dans les tâches à long terme, le raisonnement spatial au niveau des objets, ainsi que la coordination complète du corps entre la mobilité et la manipulation dextre.

Déplacer une boîte en évitant les obstacles

Le robot avance en portant une boîte. Lorsqu'un obstacle apparaît devant lui, il ne s'arrête pas complètement pour replanifier, mais ajuste l'orientation de son corps et passe latéralement dans l'espace étroit entre les obstacles. Porter l'objet occupe une partie de son champ de vision à la première personne et modifie également sa charge et son centre de gravité. Le modèle doit combiner les informations environnementales existantes et les retours en temps réel pour juger des zones praticables, ajuster la direction de la marche et la posture de l'ensemble du corps, tout en maintenant son propre équilibre et la stabilité de l'objet transporté. Les déplacements multidirectionnels, l'évitement d'obstacles et les opérations de perception de charge sont ici intégrés dans le même comportement en boucle fermée.

Ces démonstrations montrent que le robot n'exécute pas une trajectoire fixe de manière ouverte, mais génère et corrige continuellement des actions corporelles complètes en combinant l'observation actuelle, les retours en temps réel et les prédictions du futur.

L'architecture MoT et la représentation unifiée du mouvement, pour résoudre le défi de la rareté des données incarnées

Soutenant ces capacités se trouve un ensemble de choix clés au niveau des données et de l'architecture de Being-M0.7.

Un robot humanoïde a besoin de percevoir l'espace via des informations visuelles à la première personne, mais aussi de générer des instructions de mouvement et de contrôle à exécuter dans le futur. Les données de mouvement humain de haute qualité nécessitent généralement des équipements de capture de mouvement, et les données appariées strictement alignées entre la vision et le mouvement en première personne sont encore plus rares.

Si un modèle ne peut utiliser que des données contenant simultanément de la vision et du mouvement, l'échelle des données entraînables sera sévèrement limitée. Le problème que Being-M0.7 doit résoudre est précisément de permettre aux données appariées, aux données vidéo pures et aux données de mouvement pures de participer ensemble à l'entraînement.

Le choix de Beyond Intelligence est l'architecture Vision-Motion MoT (Mixture-of-Transformers, architecture multimodale à transformateurs mixtes). Le Vision-Motion MoT conserve des modules de projection et de traitement dédiés à chaque modalité pour la vision et le mouvement, tout en permettant une interaction intermodale via une attention multimodale partagée. Les changements d'état visuel et le mouvement continu ont des distributions de données différentes et ne doivent pas être forcés dans le même système de paramètres ; mais lorsque les deux modalités sont présentes simultanément, elles peuvent échanger des informations dans un contexte partagé.

Cela permet au modèle d'être compatible avec trois types de données.

Pour les données appariées vidéo-mouvement, le modèle apprend conjointement les futurs états de l'environnement et les trajectoires de mouvement. Pour les données vidéo pures, seuls les objectifs d'entraînement de la branche visuelle sont calculés. Pour les données de mouvement pures, seule la branche motrice est entraînée. Les données de sources différentes contraignent conjointement le modèle via le même objectif d'entraînement, sans avoir besoin d'entraîner séparément plusieurs systèmes monomodaux isolés les uns des autres.

D'un point de vue de la modélisation probabiliste, les données appariées décrivent la relation conjointe entre la vision et le mouvement, tandis que les données unimodales fournissent une contrainte marginale à cette distribution conjointe. Même si la modalité des données n'est pas complète, elles peuvent être intégrées dans le même cadre d'entraînement.

Aperçu du cadre d'entraînement de Being-M0.7. En haut à gauche : Les données de pré-entraînement sont constituées de données appariées vidéo-mouvement, de données vidéo pures et de données de mouvement pures. En bas à gauche : L'équipe de recherche a construit une représentation unifiée du mouvement partagée entre l'humain et le robot humanoïde, fournissant des signaux de supervision et des retours plus riches pour l'entraînement et l'inférence. À droite : L'architecture globale du modèle Being-M0.7.

Basée sur cette architecture, l'équipe a construit un ensemble de données de pré-entraînement multimodales de plus de 10 000 heures, couvrant des vidéos humaines à la première personne, des données appariées vidéo à la première personne et mouvement, ainsi que des séquences de mouvement humain pur.

La recette de données (Data Recipe) de Being-M0.7. Le corpus de pré-entraînement provient de plusieurs ensembles de données externes publics, notamment Ego4D, Xperience, Nymeria, Bones-SEED, SnapMoGen, HumanML3D et Lafan1 ; il inclut également des ensembles de données internes.

Un autre choix clé est la représentation unifiée du mouvement partagée entre l'humain et le robot humanoïde.

Being-M0.7 propose une représentation d'action unifiée qui convertit les données de mouvement humain provenant de différentes sources en une représentation unifiée ayant la tête comme nœud racine, l'alignant ainsi naturellement avec la vision à la première personne. En unifiant le système de coordonnées et en éliminant l'orientation initiale via un traitement de normalisation, les différences de distribution entre les différents ensembles de données sont réduites, améliorant la cohérence entre les sources de données.

De plus, Being-M0.7 adopte une représentation de mouvement compacte ne conservant que la tête, les deux mains et les deux pieds, préservant ainsi les informations clés d'interaction et de contact tout en comblant efficacement les différences morphologiques entre l'humain et le robot. Cette représentation fournit non seulement un signal de supervision plus riche qu'une simple étiquette d'action pour le post-entraînement du robot, mais peut également fournir un retour au niveau du mouvement pendant la phase d'inférence, soutenant ainsi un contrôle coordonné de l'ensemble du corps.

Durant la phase de pré-entraînement, le modèle utilise un encodeur visuel pour mapper les images dans un espace latent et utilise la représentation de mouvement compacte et unifiée. Le modèle est entraîné avec un objectif de Flow Matching, prédisant conjointement les changements d'état futurs et les trajectoires de mouvement en fonction d'un court historique visuel-moteur et d'une instruction de tâche.

Pour la collecte de données sur machine réelle, l'équipe a mis en place un système de téléopération complète du corps basé sur PICO VR. L'opérateur porte un casque PICO, deux trackers de cheville et deux contrôleurs manuels. Le système VR estime la posture humaine en temps réel, puis un contrôleur de mouvement complet la convertit en instructions de contrôle pour 29 degrés de liberté exécutables par le robot G1 de Unitree. Pendant que le robot exécute les actions télécommandées, il enregistre simultanément les images de la caméra RGB embarquée (vue à la première personne), la perception proprioceptive et les instructions de contrôle. Ces données servent de données de post-entraînement pour Being-M0.7 sur des tâches spécifiques.

Système de collecte de données sur machine réelle pour Being-M0.7. L'opérateur fournit des instructions de mouvement complet via des équipements VR. Le système convertit la posture humaine en commandes de contrôle robotique et collecte simultanément les images à la première personne, la perception proprioceptive et les trajectoires de mouvement.

Étant donné que le modèle a déjà établi des préconceptions visuo-motrices durant la phase de pré-entraînement, les données de la machine réelle n'ont plus besoin d'enseigner toutes les lois du mouvement à partir de zéro. Elles assument principalement deux tâches : premièrement, adapter les préconictions de pré-entraînement à l'espace de contrôle spécifique du robot humanoïde ; deuxièmement, apprendre les commandes de contrôle de bas niveau et les mécanismes de rétroaction nécessaires au robot réel. Ce processus est réalisé par un expert en action léger (Action Expert). L'expert en action lit l'état caché intermédiaire du Latent WAM, l'utilise comme contexte de planification de haut niveau, puis, en combinaison avec l'observation visuelle actuelle, les informations proprioceptives et la progression de l'exécution, génère des blocs d'actions que le robot peut exécuter directement.

Durant la phase d'inférence, le modèle génère à basse fréquence des plans futurs vidéo-mouvement, et convertit leurs états cachés intermédiaires en un cache de stratégie réutilisable (KV Cache). La représentation de mouvement unifiée fusionne non seulement les retours visuels et proprioceptifs, mais utilise également l'état de mouvement le plus récent du robot pour corriger la planification du mouvement complet prédite, permettant à la stratégie de répondre rapidement aux écarts de mouvement du corps et des effecteurs terminaux. L'expert en action réutilise le KV Cache actuel pour générer continuellement des actions à haute fréquence, et intègre de manière transparente les derniers retours du robot lors du rafraîchissement du cache. Cette conception réalise un découplage entre la planification mondiale à basse fréquence et le contrôle d'action à haute fréquence, garantissant la réactivité tout en maintenant le robot guidé à la fois par la planification à long terme et les retours en temps réel.

Un paradigme de fusion extensible, vers une intelligence incarnée plus générale

La signification de l'architecture Vision-Motion MoT ne se limite pas à résoudre le problème d'entraînement du seul modèle Being-M0.7. Elle établit un paradigme de fusion multimodale durable et extensible.

Le changement le plus direct apporté par ce paradigme se situe au niveau des données.

Plus de 10 000 heures de données multimodales étendent les sources de signal de supervision utilisables pour l'entraînement des modèles de robots humanoïdes, des démonstrations réelles coûteuses et rares, aux vastes données de comportement humain. L'assouplissement du goulot d'étranglement des données est la condition préalable à l'application de toute loi d'échelle (Scaling Law).

Simultanément, Being-M0.7 a également modifié l'ordre d'apprentissage du modèle.

Avant d'être adapté en instructions exécutables par le robot, le modèle apprend d'abord à partir de données massives centrées sur l'humain le contexte visuel, la dynamique future et la structure cinématique du mouvement humain. Ensuite, l'expert en action transforme ces prédictions et préconceptions motrices en commandes de contrôle pour un robot spécifique. En d'autres termes, le modèle établit d'abord la capacité de prédire les états futurs et les mouvements corporels, puis apprend comment agir sur un corps spécifique. Cela constitue une différence importante par rapport aux approches traditionnelles d'apprentissage par imitation qui apprennent directement la cartographie action à partir de démonstrations robotiques. Ces dernières commencent souvent par "voir quelque chose, produire une action correspondante", tandis que Being-M0.7 ajoute une couche de modélisation conjointe état futur-mouvement avant la génération d'actions.

Plus important encore, cette architecture n'exige pas que toutes les nouvelles données ajoutées possèdent un appariement visuel-mouvement complet. Après nettoyage et traitement, des vidéos humaines seules et des séquences de mouvement seules peuvent être intégrées au même modèle. À mesure que l'échelle des données s'élargit davantage, ce paradigme de fusion a également le potentiel d'étendre continuellement les frontières des capacités.

Placée dans le système de coordonnées de l'ensemble de l'industrie, la publication de Being-M0.7 représente peut-être un changement dans la logique de compétition des robots humanoïdes.

Ces dernières années, l'attention de l'industrie s'est davantage concentrée sur les corps plus agiles et les démonstrations de mouvement plus spectaculaires. Alors que les performances matérielles continuent de s'améliorer, la capacité du modèle à comprendre la scène, prédire les changements et générer des actions corporelles coordonnées, ainsi que l'existence d'un système de données pouvant être continuellement élargi en arrière-plan, deviendront de plus en plus les clés pour creuser l'écart.

Le développement des grands modèles de langage a déjà démontré que les données pouvant être mises à l'échelle et la dynamique d'entraînement déterminent souvent jusqu'où une voie technologique peut finalement aller. L'intelligence incarnée se trouve à un point critique similaire : les données des machines réelles ne peuvent croître rapidement comme le corpus d'Internet. D'où les robots peuvent-ils obtenir l'expérience nécessaire à leur évolution continue ?

De Being-H à Being-M, le jugement de Beyond Intelligence est de laisser d'abord le robot apprendre le monde à partir du comportement humain, puis de transformer ces connaissances en actions dans l'espace physique réel.

Lorsque la compréhension devient la condition préalable à l'action, les robots humanoïdes généraux sortent véritablement du récit de laboratoire et commencent à se diriger vers le monde physique de milliers de secteurs et de métiers.

Cet article provient du compte WeChat "Machine Heart" (ID : almosthuman2014), auteur : Yang Wen