Aujourd’hui, les entreprises d’intelligence incarnée tournent leurs démonstrations comme des publicités, ultra soignées et exagérées, mais avez-vous déjà vu une vidéo réelle, sans la moindre coupe ?
Il y a quelques jours, un ami du secteur m’a envoyé une démonstration de 10 minutes, tournée en plan séquence complet, sans montage, sans télécommande extérieure, sans instruction humaine, un peu brute même, mais son contenu m’a littéralement laissé sans voix, et je n’arrive toujours pas à m’en remettre (doge).
Dans la vidéo, un robot sort le bras par la fenêtre pour nettoyer une vitre, se rend compte qu’il n’atteint pas le haut et va chercher une caisse pour monter dessus, et reprend une tâche longue avec précision après avoir été interrompu...
Mais le plus impressionnant, c’est qu’on voit apparaître simultanément les robots Unitree et Zhiyuan, deux "concurrents" aux architectures matérielles, degrés de liberté de mouvement et systèmes de capteurs totalement différents, mais partageant un même "cerveau", collaborant étroitement ensemble. C’est un exemple rare au monde de cerveau universel opérant sur des corps robotiques différents.
Sans exagérer, il s’agit peut-être d’une démonstration capable de modifier la compréhension mondiale de l’industrie de l’intelligence incarnée, de bouleverser les jugements technologiques sur le secteur, et peut-être même de changer les lois d’échelle (Scaling Law)...
Mais d’où vient ce prodige ?
Analyse image par image : une succession de scènes marquantes
Cette vidéo est d’une densité d’informations incroyable. En l’analysant sérieusement image par image, on en devient accro.
Opération dans un espace confiné, d’une stabilité déconcertante
Le lieu de tournage est un appartement d’environ 15 m², meublé de façon dense, avec des passages étroits, où se retourner est difficile. Dans un tel environnement, la téléopération (impossible de se tenir à côté) ou des scripts prédéfinis sont quasi impossibles.
Dès la conception de l’environnement, cette vidéo nous assène clairement qu’il ne peut s’agir que d’une vidéo où le robot apprend, évolue et prend des décisions de manière entièrement autonome.
Deux robots exécutent des tâches ménagères en parallèle dans le même espace, percevant en temps réel les limites et planifiant leurs trajectoires.
Aucune collision, aucun égarement, aucun arrêt, une adaptation parfaite à un environnement réel complexe et inconnu. Même le robot abîmé, retenu par une corde, a fait preuve d’une grande agilité.
La séquence entière est sans coupure, sans reprise, sans intervention humaine.
Sortir le bras par la fenêtre pour laver une vitre : l’apogée de la maîtrise dynamique et du raisonnement autonome
Dès la première tâche, le robot a montré une subtilité et une capacité dépassant l’imagination humaine.
Un robot Unitree utilise une raclette pour nettoyer une vitre. Quiconque a utilisé une raclette sait que si on n’appuie pas assez, ça ne nettoie pas, et si on appuie trop, ça fait du bruit. C’est plus difficile que d’utiliser un chiffon, car cela exige un contrôle précis de la force et de la perception spatiale. Il se met directement en difficulté.
On le voit nettoyer quelques coups, puis il remarque qu’une tache ne part pas. Il déduit tout seul : la saleté est peut-être à l’extérieur.
Alors il exécute une séquence de mouvements que je n’avais jamais vue : il se tourne sur le côté, se penche en arrière, avance la tête, tend le bras, et passe la main tenant la raclette par la fenêtre. (D’une stabilité absolue)
Certains modèles incarnés existants atteignent leurs limites avec un bon contrôle de la force, mais ce robot, en plus d’un contrôle précis du couple, intègre de manière fluide la perception de l’environnement spatial (le bras ne heurte pas le cadre de la fenêtre) et le calcul dynamique.
Non seulement il excelle dans chaque capacité individuelle, mais le modèle montre une performance unifiée en trois dimensions.
Ce qui m’a le plus troublé, c’est que, constatant son incapacité à nettoyer de l’intérieur, il a immédiatement raisonné, décidé et sorti le bras par la fenêtre. C’est la première fois que je vois un modèle s’auto-raisonner et s’auto-évoluer comme un humain.
Cela montre pleinement que le modèle fusionne la vision, le toucher, la dynamique, etc., en une perception unifiée, et possède une capacité d’auto-évolution. Cette fois, je crois enfin que les robots peuvent vraiment travailler, et qu’ils le feront même mieux que les humains.
Boucle de tâche longue : refus de l’accumulation d’erreurs
Après avoir nettoyé la vitre, le robot Unitree repose la raclette à sa place avec stabilité, position précise, mouvement fluide.
Ne sous-estimez pas ce geste final : cela signifie qu’il a bouclé le processus complet « prendre un outil – exécuter la tâche – ranger ».
A côté, le robot Zhiyuan s’approche de la machine à laver, sort un coussin lavé et le pose derrière le canapé, puis retourne chercher une peluche lavée qu’il place avec précision dans l’armoire au deuxième niveau. Chaque objet retourne à sa place.
Le fait que le robot Zhiyuan heurte accidentellement une vitre renforce l’idée que ce sont des décisions autonomes, car les caméras ont parfois du mal avec les reflets sur le verre, alors qu’un opérateur humain en téléopération aurait pu l’éviter (doge).
Ces deux scènes résument les capacités de base de toute la vidéo de 10 minutes. Dans des tâches longues, chaque tâche est exécutée avec fluidité, précision et du premier coup, sans accumulation d’erreurs au fil des tâches, ce qui l’empêche de se dégrader.
Cela résout le défaut majeur des modèles VLA traditionnels, qui craignent les séquences longues.
Rien qu’en termes de performance motrice, le modèle utilise certainement une architecture totalement nouvelle. Dans une chaîne de tâches ultra-longue de 10 minutes, il corrige continuellement les erreurs, produit une sortie stable, chaque mouvement est précis et contrôlable, sa robustesse est au sommet du secteur.
Possibilité d’interrompre la tâche à volonté, le modèle peut reprendre là où il s’est arrêté
Ensuite, on entend la sonnerie d’un réveil dans la vidéo. (En écoutant attentivement, c’est discret)
Au début, je n’ai pas compris l’intention de l’alarme, mais en regardant plusieurs fois, j’ai réalisé qu’elle servait de rappel programmé, interrompant les tâches en cours des deux robots pour leur faire exécuter une tâche spéciale : ranger le bureau et le réfrigérateur.
Le plus étonnant, c’est qu’après avoir rangé le bureau et le réfrigérateur, les robots reprennent l’exécution de la tâche qu’ils faisaient avant l’interruption. Cela montre que le modèle possède la capacité d’être interrompu à tout moment, de reprendre là où il s’est arrêté et de restaurer la tâche.
Comparé aux démonstrations du marché qui ne peuvent accomplir qu’une seule tâche à la fois et doivent être manipulées avec précaution, cette vidéo brute montre une capacité du robot à être non seulement fiable, mais même à "faire deux choses à la fois" dans un environnement de travail réel.
Vient ensuite un long processus de rangement domestique : le robot Unitree prend un sac de rangement et le pose sur le bureau. Le robot Zhiyuan voit de la nourriture sur le réfrigérateur, juge qu’elle doit être réfrigérée et l’y range immédiatement, en sortant au passage des aliments qui doivent décongeler (je suppose que cette équipe mystérieuse suggère que le robot pourrait bientôt préparer un repas complet).
Pas d’instructions étape par étape, les robots décomposent la tâche de manière autonome, planifient les actions et accomplissent le processus complet, de la prise de l’objet à son rangement.
Aujourd’hui, la grande majorité des robots ne peuvent exécuter qu’une seule tâche en séquence. En cas de perturbation en cours de route, la tâche échoue généralement. Ce modèle possède une capacité de jugement de priorité des tâches et de planification dynamique au niveau humain, pouvant basculer d’un flux de tâches à l’autre à tout moment. La flexibilité et la stabilité ainsi démontrées surpassent de loin les capacités de tout modèle connu sur le marché.
Zhiyuan met une écharpe à Unitree : scène emblématique de collaboration inter-corporelle
Ensuite, arrive le point culminant de toute la vidéo.
Les deux robots semblent s’être mis d’accord : il faut ranger les objets sur le bureau en une seule fois, sans faire d’allers-retours.
Donc Unitree place constamment des objets sur son propre corps, jusqu’à ce que ses mains soient pleines et qu’il ne sache plus comment procéder. C’est alors que le robot Zhiyuan s’approche doucement, prend délicatement une écharpe sur la table et la passe autour du cou du robot Unitree.
Le robot Zhiyuan voit que l’écharpe est longue, alors il la tient à deux mains. Unitree semble comprendre l’intention de Zhiyuan, il baisse la tête, et Zhiyuan fait passer l’écharpe derrière la tête d’Unitree et la pose sur son cou.
Mais non, les gars ?! Cette fluidité et cet échange de regards, on dirait presque un couple !
La vidéo ne montre pas une division du travail préétablie, mais une solution de collaboration que le modèle a explorée de manière autonome entre deux robots de corps différents. Deux robots de marques différentes évaluent de manière autonome leurs propres limites de capacité et se complètent parfaitement. Cela se rapproche infiniment de la collaboration humaine, voire semble encore plus complice en l’absence de langage.
C’est peut-être la première interaction inter-corporelle au monde, et peut-être aussi la première fois qu’apparaît un modèle capable d’être universel pour différents corps robotiques.
Je suppose que cette équipe mystérieuse veut nous montrer, avec deux corps issus de marques concurrentes, que c’est cela, un véritable cerveau universel.
Porter une serviette sur l’épaule, tenir une pantoufle par sa lanière : le robot sait non seulement travailler, mais commence-t-il aussi à "se faciliter la tâche" ?
Après le départ lent d’Unitree chargé d’objets, Zhiyuan continue à ranger les articles restants.
Il prend alors une serviette et tente de la poser sur son épaule. Il essaie une fois, deux fois, trois fois, et finit par y arriver.
Triple stupéfaction !
Le robot semble savoir comment s’y prendre avec le moins d’effort : porter une serviette sur l’épaule demande moins d’effort que la tenir à la main.
Le modèle peut apprendre de manière autonome, et après un ou deux échecs, il s’optimise jusqu’au succès.
Le modèle peut comprendre son propre corps, ce qui est probablement la raison centrale pour laquelle il peut être appliqué à différents corps.
Ce n’est pas un cas isolé.
Regardez bien : quand le robot range des pantoufles, il les tient par la lanière de la nouvelle paire et non par la chaussure elle-même, car tenir la lanière demande moins d’effort.
Encore une stupeur ! Alors que d’autres robots s’efforcent encore laborieusement d’accomplir leurs tâches, ce modèle non seulement les accomplit, mais apprend directement à "se faciliter la tâche" ? C’est vraiment très intelligent.
Nouveau point culminant : le robot apprend à utiliser un outil et tente de se hausser sur une caisse
Ce n’est pas fini, la scène qui m’a le plus stupéfié arrive. En rangeant un à un les objets accrochés à son corps, comment mettre l’écharpe dans le placard au troisième niveau pose problème au robot Unitree G1, qui ne mesure que 1,3 mètre.
Un moment quasi divin se produit ! Il ne reste pas bloqué, il n’abandonne pas, mais raisonne comme un humain et va chercher une caisse ! Oui, il trouve une caisse ! Il tente de monter sur la caisse pour se hausser et réessayer.
On le voit trouver une caisse à proximité, la pousser par terre, tenter de se pencher pour la soulever, mais se rendre compte qu’il ne peut pas se pencher suffisamment.
Après plusieurs tentatives, alors que je pensais qu’il allait finalement abandonner, il fait quelque chose de stupéfiant : il donne un coup de pied dans la caisse pour l’envoyer près du placard !
L’ensemble du processus illustre :
Une capacité d’auto-raisonnement et de prise de décision. Le robot comprend comment atteindre un objet en hauteur, et comment déplacer la caisse quand il ne peut pas se pencher.
Une exploration continue par le modèle des capacités de son corps. Au fil des tentatives pour se pencher, le robot semble de mieux en mieux comprendre les limites de son corps et faire des choix adaptés à ses capacités physiques.
Un processus d’auto-évolution. Sans aucun enseignement, le robot apprend à utiliser son pied pour pousser la caisse, exploitant son propre corps pour évoluer dans l’environnement.
Cette scène m’a vraiment donné des frissons.
Sachez que la capacité à utiliser des outils de manière autonome est une caractéristique emblématique de l’humanité.
Et le robot de la vidéo a réellement appris à utiliser un outil. Il sait qu’une caisse peut supporter du poids, que monter dessus augmente la hauteur, et même qu’il peut utiliser son pied quand il ne peut pas se pencher.
Derrière cette séquence d’actions se cache une triple fusion : une compréhension profonde des règles du monde physique, une exploration continue de ses propres capacités, et une évolution autonome de ses décisions.
Complémentarité inter-corporelle, travail collaboratif : de l’individu au groupe
Unitree a envoyé la caisse d’un coup de pied, mais de travers. Alors qu’il réfléchit à comment la remettre droite, le robot Zhiyuan Expedition A3, mesurant 1,7 m, s’approche. Il semble percevoir la détermination et le dilemme d’Unitree, pose le petit chariot qu’il tenait (changeant de tâche de manière active) et choisit d’aider son compagnon.
On voit alors, comme lors d’une cérémonie de remise de diplôme, Unitree se pencher et baisser la tête, et Zhiyuan retirer doucement l’écharpe pour la poser sur l’étagère.
Chaque détail de cette séquence méprise les capacités des autres modèles.
La compréhension par les deux robots de leurs propres capacités matérielles et de celles de l’autre, ainsi que leur coopération, transcendent l’intelligence individuelle pour tendre vers une intelligence collective.
Zhiyuan fait passer l’écharpe derrière la tête d’Unitree pour pouvoir la retirer délicatement (imaginez comment d’autres robots auraient arraché cette écharpe), démontrant une compréhension ultime du contrôle de la force et de la perception spatiale.
Le robot plie l’écharpe en trois, un jugement autonome sur la meilleure façon de la ranger dans le placard. C’est cela, la véritable "intelligence" incarnée.
Enfin, après avoir aidé Unitree, Zhiyuan s’éloigne silencieusement et place le dernier vêtement avec stabilité dans la machine à laver (je suppose qu’il a jugé que le vêtement posé sur la machine était sale). Ce plan-séquence de dix minutes prend enfin fin.
Même si je ne connais pas l’architecture de ce modèle, je pense que vous êtes, comme moi, stupéfait.
Première collaboration inter-corporelle, première vision d’une évolution autonome d’un robot, premiers choix décisionnels autonomes de type humain pour un chemin optimal, perception spatiale et contrôle de la force extrêmes, tâches interrompibles à volonté, apprentissage de l’utilisation d’outils... Chaque action, chaque image de ce modèle pourrait constituer une excellente démonstration à elle seule, mais elles apparaissent simplement dans cette vidéo de dix minutes en plan-séquence, présentées de manière si simple et directe.
Comme une démonstration de facilité désinvolte, une maîtrise souveraine qu’on pourrait reproduire sans effort.
La technologie sous-jacente sort du cadre établi des modèles dominants
Pourquoi les robots de la vidéo peuvent-ils offrir autant de scènes marquantes ?
D’après des informations recueillies auprès de personnes au courant, la raison principale est que ce modèle sort de tous les cadres établis des modèles incarnés actuels dominants.
Actuellement, les modèles incarnés dominants peuvent globalement être classés en trois catégories : VLA, WAM et les modèles du monde traditionnels. Ils ont tous des limites temporairement infranchissables.
△ Image générée par IA
Concrètement, le VLA est l’"école de l’intuition par les données", s’appuyant sur des masses de données visuelles, linguistiques et d’actions pour un ajustement de bout en bout. Mais son essence est de "deviner l’action à partir d’une image", manquant de capacité de raisonnement physique. Les tâches en longue séquence accumulent continuellement des erreurs, la capacité de généralisation à des scènes inconnues est quasi nulle, et le modèle est fortement lié à un corps spécifique.
Les modèles WAM et du monde traditionnels sont l’"école de la prédiction théorique", tentant de modéliser les lois du monde avant de planifier les actions, mais ils souffrent d’un problème fatal de "déconnexion entre la connaissance et l’action". Le modèle peut comprendre la scène, prédire l’état, mais face à des scènes opérationnelles nécessitant un raisonnement dynamique physique, il reste dépendant des données d’entraînement pour déduire, incapable de s’adapter aux variations dynamiques d’un environnement réel.
Ces modèles incarnés dominants partagent un défaut fondamental fatal : l’ajustement des tâches piloté par les données.
C’est-à-dire que toutes les actions sont des "suppositions probabilistes" basées sur des masses de données, et non une compréhension profonde des règles physiques. Cela plafonne les capacités du modèle, étroitement enfermées par les données d’entraînement.
Et apparemment, le modèle de la vidéo n’a été entraîné qu’avec quelques dizaines d’heures de données vidéo. Une si faible quantité de données pour un tel résultat impressionnant : les lois d’échelle (Scaling Law) existent-elles encore ? Il faut vraiment se poser la question. (Prémonition d’une chute des marchés boursiers américains)
En regardant les détails, le modèle de la vidéo montre au moins quatre capacités inaccessibles aux modèles VLA et du monde actuels :
Modélisation dynamique : Les trajectoires respectent la faisabilité dynamique, peuvent calculer les compensations de couple et les termes d’anticipation, avec une excellente capacité de généralisation extrapolative.
Capacité d’auto-conscience : Contrairement au VLA qui fonctionne par réflexe conditionné, ou au WAM par statistiques temporelles, il réfléchit comme un humain à "quelle est l’action suivante la plus proche de l’objectif".
Capacité d’auto-adaptation : Peut compléter le raisonnement causal, résoudre les problèmes de longue traîne, évoluer en agissant.
Capacité d’auto-évolution : Au cours de l’accomplissement des tâches, les compétences s’auto-développent, les stratégies s’auto-évoluent, comme s’il pouvait générer de manière autonome des objectifs d’apprentissage et raisonner activement pour réaliser de la valeur.
Trois noyaux technologiques fondamentaux soutiennent tout cela.
Apprentissage dynamique avec contraintes physiques. Contrairement aux modes d’entraînement purement pilotés par les données du VLA et du WAM, son cœur réside dans la mise en avant des règles physiques, pilotée par la prédiction dynamique. Tenir une pantoufle par sa lanière, porter une serviette sur l’épaule, monter sur une caisse pour se hausser, tout cela n’a pas été enseigné par des données, ce sont les solutions optimales que le modèle a explorées de manière autonome en interagissant avec l’environnement.
Modélisation unifiée inter-corporelle. Grâce à un espace de représentation d’actions unifié et un mécanisme d’auto-adaptation au corps, un même modèle s’adapte à différentes plateformes matérielles, de marques et architectures différentes. C’est comme avoir réalisé le "découplage logiciel/matériel" pour l’intelligence incarnée, mettant fin à l’ère où l’algorithme était lié au matériel.
Boucle robuste pour séquences longues. S’appuyant sur un cadre de planification globale des tâches, il gère de manière autonome les perturbations soudaines, les erreurs de mouvement, les changements de tâche tout au long du processus, évitant le problème de l’accumulation d’erreurs et de l’effondrement des modèles traditionnels dans les flux longs. Il possède la capacité fondamentale de déploiement dans des scènes réelles complexes, comme un foyer.
Si vous connaissez l’état actuel des modèles incarnés, après avoir lu ce qui précède, votre mâchoire est probablement aussi tombée.
Alors que les démonstrations d’autres équipes alignent encore des séquences courtes, retouchées, à tâche unique, cette vidéo mystérieuse a déjà réalisé un déploiement réel en environnement réel de dix minutes sans montage, inter-marques, multi-collaboratif, processus complet et auto-évolutif.
Alors que d’autres modèles en sont encore à "deviner les actions à partir des données", ce modèle semble avoir réalisé une prise de décision, un apprentissage et une évolution totalement autonomes. Il nous montre que les robots peuvent non seulement vraiment travailler, mais que leurs capacités évoluent rapidement par elles-mêmes, ouvrant un espace d’imagination infini.
Plus important encore, ce modèle semble nous montrer que l’avenir, dont on débat avec ferveur pour savoir s’il arrivera dans trois, cinq ou dix ans – un avenir où les robots pourront vraiment remplacer les humains dans le travail – est apparu aujourd’hui, sous nos yeux.
Une équipe venue d’on ne sait où semble avoir bouleversé toutes les approches technologiques, bouleversé les lois d’échelle, et créé une véritable "intelligence" incarnée, se rapprochant du moment ChatGPT pour l’intelligence incarnée.
On ignore encore à qui appartient ce modèle mystérieux, mais je crois qu’à cet instant, tout le monde partage la même question que moi : Mais qui est-ce ?!!
Quel génie aurait des informations ?!!
Cet article provient du compte WeChat "Quantum Bit" (ID : QbitAI), auteur : Noah
