Les conférences de haut niveau peuvent se tenir chaque année, mais cette revue n'est pas accessible à tous les laboratoires.
Science Robotics est reconnu comme une revue de premier plan dans le domaine international de la robotique, publiée sous l'égide de la revue mère Science, avec un facteur d'impact qui se maintient durablement en tête de sa discipline. Publier dans cette revue signifie que la recherche a subi l'examen par les pairs le plus strict du domaine et représente l'avancée technologique la plus récente et la plus novatrice.
En août de cette année, Science Robotics a publié un numéro spécial consacré aux robots humanoïdes, rassemblant les dernières recherches mondiales dans ce domaine. Ce numéro spécial n'inclut que trois plateformes de robots humanoïdes au niveau mondial — Accelerated Evolution, Unitree et Boston Dynamics — représentant la fine pointe de la recherche sur les robots humanoïdes.
Dans ce numéro spécial, l'équipe du professeur Zhao Mingguo du département d'automatisation de l'université Tsinghua, en collaboration avec ByteDance Seed et l'Université agricole de Chine, a publié un article intitulé « Apprentissage de compétences de football réactives pilotées par la vision pour les robots humanoïdes ». Cet article propose un cadre d'apprentissage de compétences de football réactives pilotées par la vision, permettant à un robot humanoïde de localiser, poursuivre, ajuster sa démarche et tirer dans plusieurs directions en continu dans un environnement dynamique, en s'appuyant uniquement sur sa vision embarquée. La plateforme de validation physique supportant cette recherche est le robot humanoïde d'Accelerated Evolution.
Lien de l'article : https://www.science.org/doi/10.1126/scirobotics.aed1152
Page du projet : https://humanoid-kick.github.io/
Ce travail ne se limite pas à une action ou un indicateur unique ; il intègre la perception visuelle, l'estimation d'état, la locomotion bipède et le contact physique dans une tâche de football réelle, et entre sur le terrain du RoboCup, subissant des tests dans un environnement en constante évolution et lors de confrontations réelles.
Un relais technologique de vingt-deux ans
En 2004, Zhao Mingguo a conduit des étudiants à fonder l'équipe de football robotique Tsinghua Fire God. L'année suivante, ils participaient au RoboCup avec leurs robots développés en interne. Les premiers robots mesuraient environ 50 cm de haut, marchaient lentement, et nécessitaient une protection pendant les matchs pour éviter les chutes. Au cours des vingt années suivantes, l'équipe Fire God a participé presque chaque année, les robots grandissant progressivement au-delà d'un mètre, apprenant à se relever, à courir vite et à tirer avec puissance.
Le terrain de football est ainsi devenu un banc d'essai à long terme pour tester la vision, la prise de décision, le contrôle du mouvement et la fiabilité globale des robots. Un retard de quelques millisecondes dans la reconnaissance visuelle, un décalage de quelques centimètres dans le placement du pied, une direction où le robot risque de rater son tir, tout cela apparaît directement lors des confrontations réelles. L'équipe rapporte ensuite les problèmes au laboratoire, modifie les algorithmes, et les teste à nouveau lors du match suivant. Cette boucle s'est poursuivie pendant plus de vingt ans.
Zhao Mingguo s'est longuement consacré à la recherche sur le calcul neuromorphique et le contrôle robotique. Il a participé au développement de la puce neuromorphique « Tianjic » et à la recherche sur le vélo autonome qui ont fait la couverture de Nature et ont été sélectionnés parmi les dix principales avancées scientifiques chinoises de 2019. Du calcul neuromorphique au football robotique, son attention se porte toujours sur la façon dont la perception, le jugement et l'action fonctionnent de manière continue dans un même système.
Avec le temps, les membres de l'équipe Fire God se sont succédé. Cheng Hao, fondateur d'Accelerated Evolution, a été le troisième capitaine de Fire God. Après avoir obtenu son diplôme de Tsinghua, il a connu les défis de l'entrepreneuriat internet et a accumulé de l'expérience en tant que vice-président produit de Feishu chez ByteDance. En 2023, ce capitaine, toujours passionné par la robotique, a choisi de repartir à zéro en fondant « Accelerated Evolution ». Plusieurs anciens coéquipiers de Fire God l'ont rejoint, lançant à nouveau une aventure commune autour de la robotique en tant qu'équipe fondatrice. Le premier auteur de l'article, Wang Yushi, appartient, quant à lui, à la nouvelle génération de Fire God.
De la fondation de Fire God en 2004 à la publication de l'article dans une revue internationale de premier plan en 2026, il s'agit d'un relais technologique de vingt-deux ans.
Permettre au robot de voir et réagir dans le bruit
Cet article tente de résoudre un problème qui trouble le milieu universitaire depuis des années : comment un robot humanoïde peut-il réagir immédiatement à ce qu'il voit dans un environnement réel rempli de bruit, de latence et d'occlusions.
Lorsque les humains jouent au football, la vision et l'action se produisent presque simultanément. Les yeux suivent le ballon, le cerveau juge la distance et la direction, le corps ajuste continuellement le centre de gravité et le placement des pieds. Même si le ballon est brièvement masqué, l'humain peut prédire sa prochaine position probable en fonction de sa trajectoire précédente.
Pour un robot, reproduire ce processus avec des caméras, des algorithmes et le contrôle des articulations est beaucoup plus difficile. Les images des caméras peuvent être floues en raison des mouvements brusques, la détection d'objets comporte du bruit et du retard, et le ballon peut sortir du champ de vision ou être occulté. Parallèlement, le robot bipède doit maintenir son équilibre et décider en quelques dizaines de millisecondes de l'emplacement de son prochain pas. La perception, la localisation, la prise de décision, le mouvement et le contact physique sont comprimés dans une tâche continue ; si un maillon est trop lent, le robot peut rater son tir ou tomber.
Les approches traditionnelles divisent généralement ce processus en plusieurs modules. Le système visuel identifie le ballon et estime sa position, le module de décision choisit une action, puis le contrôleur de mouvement commande l'exécution par le robot. Cette méthode facilite le débogage, mais elle peut aussi entraîner une transmission progressive des erreurs et des retards. De plus, une stratégie entraînée dans une simulation parfaite peut voir ses performances se dégrader significativement dans le monde réel en raison de l'éclairage, du bruit ou des occlusions.
L'équipe de Zhao Mingguo propose un cadre d'apprentissage par renforcement unifié perception-mouvement. L'idée centrale est de placer la perception visuelle et le contrôle du mouvement sous un même objectif d'optimisation pour un entraînement de bout en bout.
Aperçu du système de contrôle du robot Accelerated Evolution piloté par la vision.
L'équipe de recherche a d'abord mis en place un système de perception virtuelle.
Ils ont fait observer un ballon au vrai robot sous différentes distances et angles de vue, accumulant environ une heure de données, puis les ont comparées aux positions réelles enregistrées par un système de capture de mouvement, obtenant ainsi les caractéristiques perceptives telles que le bruit de position, le taux de détection, la fréquence de mise à jour et la latence.
Ces caractéristiques ont ensuite été intégrées à la simulation. Plus le ballon est éloigné, plus le bruit de position est important ; le champ de vision de la caméra change avec l'orientation de la tête du robot. Même lorsque le ballon apparaît dans le champ de vision, il peut ne pas être détecté en raison du flou de mouvement. Le système visuel s'actualise à environ 25 Hz, avec une latence moyenne d'environ 116 millisecondes.
Après une brève interruption de la vision, le contrôleur doit continuer à estimer la position et la tendance de mouvement du ballon sur la base des informations précédentes. Pour cela, l'article conçoit une architecture encodeur-décodeur.
La stratégie lit les 50 dernières observations, soit environ une seconde d'historique, puis compresse ces informations en un état caché de 64 dimensions. Pendant la phase d'entraînement, le décodeur tente de reconstituer la position réelle du ballon et les paramètres dynamiques du robot à partir de l'état caché. Cette tâche auxiliaire aide la stratégie à débruiter la vision et lui permet de continuer à estimer la position cible après la disparition temporaire du ballon.
L'Acteur, responsable de la sortie des actions, ne peut utiliser qu'une partie des observations accessibles au vrai robot, tandis que le Critique pendant l'entraînement peut accéder à l'état complet de l'environnement de simulation, fournissant des informations supplémentaires pour l'optimisation de la stratégie. Le décodeur et le Critique sont retirés lors du déploiement sur le robot physique.
Pour rendre les mouvements plus naturels, l'équipe a également introduit un préalable de mouvement antagoniste AMP. Les données d'entraînement incluent environ 76 secondes de données de marche humaine omnidirectionnelle et 30 secondes de données de tir de l'intérieur du pied. Un discriminateur évalue la proximité des mouvements du robot avec la démonstration humaine, tandis que la stratégie d'apprentissage par renforcement continue à optimiser la poursuite du ballon et le marquage de buts.
Une contrainte de symétrie miroir aide en outre le robot à maîtriser le tir des deux pieds, évitant la convergence vers un seul côté. Finalement, la localisation, la poursuite, l'ajustement du placement du pied et le tir sont intégrés dans une même stratégie, le contrôleur émettant des commandes de position d'articulation à 50 Hz.
Cinq types de modes d'action formés par la stratégie, incluant les tirs du pied droit et gauche, la marche droite et les virages. Les trajectoires colorées sont les actions générées par la stratégie, les points gris sont les actions de référence humaine.
De nombreux comportements autonomes ont également émergé pendant l'entraînement.
Lorsque le ballon s'approche du bord du champ de vision, le robot tourne activement la tête et se retourne pour le ramener dans son champ de vision. S'il ne trouve pas le ballon près du bord du terrain, il se tourne généralement d'abord vers le centre du terrain avant d'élargir sa zone de recherche.
La démarche varie également avec la distance au ballon. À distance éloignée, le robot adopte une cadence de pas plus lente, avec un cycle d'environ 0,7 à 0,8 seconde, pour maintenir une observation stable ; à l'approche du ballon, le cycle se raccourcit à 0,3-0,4 seconde, permettant des ajustements plus fins du placement du pied via des pas plus courts et plus rapides.
Lorsque le but est derrière lui, la stratégie génère même un mouvement de tir en rotation crocheté : le robot pivote sur son pied d'appui, l'autre jambe accrochant le ballon latéralement vers le but, évitant ainsi de se repositionner.
Ces changements se reflètent finalement dans les données expérimentales.
Dans la seconde précédant le tir, l'erreur de position du ballon dans l'observation visuelle brute était de 0,344 mètre. Après estimation par l'état interne de la stratégie, l'erreur est réduite à 0,186 mètre, soit une baisse d'environ 46%. En simulation, lorsque la détection visuelle est interrompue pendant 0,3 seconde, le taux de réussite de contact du robot dépasse encore 90%, avec un taux de buts supérieur à 50%. Face à un ballon immobile, la stratégie apprise nécessite généralement environ 1,5 seconde du démarrage au contact, tandis qu'un système traditionnel à règles nécessite environ 2 à 5 secondes, la réduction maximale du temps atteignant 64%.
Comparaison entre la stratégie apprise et les stratégies à règles avancées actuelles du RoboCup. (A, B) Temps nécessaire au robot pour passer du démarrage au contact du ballon sous différents angles d'approche, et vitesse angulaire maximale durant ce processus. Le robot est initialement à l'arrêt, à 1,5 mètre du ballon. Les zones ombrées indiquent l'écart-type, chaque direction est testée 5 fois. (C, D) Actions typiques lorsque la stratégie à règles contrôle le robot pour tirer vers l'avant (0°) et l'arrière (180°). (E, F) La stratégie apprise peut combiner l'approche du ballon et le tir en une action continue.
Dans les tests sur robot physique, le taux de réussite du robot était de 80% à 90% en position offensive, et de 60% à 70% en position défensive, sans chute pendant les tests. Face à un ballon roulant, lorsque la vitesse est inférieure à 0,5 mètre par seconde, la stratégie maintient un taux de réussite supérieur à 50%, les expériences sur robot physique montrant une tendance similaire.
Légende : Tir réactif face à un ballon roulant.
(A) Lorsque le ballon roule latéralement, le robot se déplace rapidement sur le côté et tire. (i) montre la trajectoire du robot et du ballon ainsi que le modèle de contact des pieds correspondant, (ii) montre l'action continue du robot.
(B) Lorsque le ballon roule vers l'arrière du robot, celui-ci se retourne rapidement et tire. (i) et (ii) montrent le même contenu qu'en (A).
(C) Taux de réussite du tir, taux de buts et temps de contact pour différentes vitesses de balle. Les résultats de simulation sont représentés par des histogrammes, chaque vitesse testée 8192 fois ; les résultats sur robot physique sont marqués par des triangles, chaque vitesse testée 10 fois. Les barres d'erreur indiquent l'écart-type des résultats des tests de simulation.
Cette stratégie a également été intégrée comme module de compétence motrice au système complet de match de l'équipe Tsinghua Fire God. En 2025, Fire God a remporté la ligue humanoïde adulte du RoboCup et le championnat de la Coupe du monde des robots humanoïdes, marquant un total de 76 buts et n'en encaissant que 11 lors des deux compétitions. En 2026, l'équipe a conservé son titre au RoboCup Large Size.
Vers la prochaine génération de plateformes incarnées
La capacité de la stratégie apprise à passer directement de la simulation au déploiement sur robot physique ne dépend pas seulement de l'algorithme. La réponse cohérente des articulations, la stabilité du cycle de contrôle, la capacité des capteurs et des unités de calcul à fournir des résultats dans les délais, tout cela influence les performances finales. Toute erreur de bas niveau peut être amplifiée lors de mouvements à haute vitesse.
Les expériences sur robot physique dans l'article ont utilisé la plateforme humanoïde d'Accelerated Evolution. Les expériences n'ont pas modifié spécifiquement le robot ; les informations sur le ballon provenaient de la caméra embarquée dans la tête, et la perception et le contrôle s'exécutaient sur l'unité de calcul embarquée. Cela indique que les robots humanoïdes produits en série en Chine peuvent déjà supporter la recherche de pointe mondiale sur l'intelligence incarnée, permettant aux chercheurs de concentrer leurs efforts sur les algorithmes avant de déployer les résultats d'entraînement sur le matériel réel.
La relation entre Accelerated Evolution et l'équipe Fire God s'étend ainsi de la transmission des talents à la plateforme technologique.
En juillet de cette année, Accelerated Evolution a lancé sa nouvelle plateforme phare Booster T2. La version professionnelle est équipée de la puce NVIDIA Thor, offrant une puissance de calcul embarquée de 2070 TFLOPS, ce qui en fait la plateforme la plus puissante en termes de calcul dans le domaine des robots humanoïdes bipèdes. Le Booster Studio associé intègre l'entraînement en simulation, le développement d'algorithmes et le déploiement sur robot physique dans un même environnement de développement.
Le 19 août, Booster T2 a fait ses débuts officiels lors de la Conférence mondiale sur la robotique, présentant sa première démonstration de mouvements explosifs. Trois jours plus tard, 80 Booster T2 ont réalisé une coordination autonome sans centre de commande lors de la cérémonie d'ouverture des Jeux des robots, écrivant sur le sol BEIJING, le logo des Jeux et les icônes des trois épreuves, sans télécommande ni commande vocale, 80 « cerveaux » prenant une décision conjointe au même moment. La puissance de calcul totale des 80 robots est d'environ 170 000 TFLOPS, formant un cluster de calcul en mouvement.
La boucle de perception fermée d'une seule machine, la coordination et le changement de formation de multiples machines, reposent sur la même capacité fondamentale : une plateforme stable, un calcul embarqué en temps réel, un contrôle de mouvement précis. Les limites de ces capacités continuent de s'étendre avec l'évolution de la plateforme.
Des premiers robots de 50 cm nécessitant un soutien pour rester debout, au Booster T2 d'aujourd'hui jouant au football de manière autonome sur un terrain de mille mètres carrés ou formant des caractères lors d'une cérémonie d'ouverture, vingt-deux ans d'accumulation se manifestent à une échelle croissante. Les robots humanoïdes passent progressivement de « savoir bouger » à « pouvoir être utilisés », et de l'action individuelle à la collaboration de groupe.
Lien de référence : https://www.science.org/journal/scirobotics
Cet article provient du compte WeChat « Machine Heart » (ID : almosthuman2014), édité par Yang Wen.
