【Synthèse】En utilisant uniquement des vidéos RGB monoculaires, « Do as I Do » transforme les manipulations humaines quotidiennes en trajectoires exécutables par Sharpa Wave, complétant le chaînon manquant clé des données robotiques pour les manipulations dextres de type humain, allant de la vidéo au robot.
Les humains apprennent les manipulations dextres, souvent en "regardant".
Un enfant qui regarde quelqu'un battre des œufs, verser de l'eau ou enfoncer un clou peut, par imitation, apprendre progressivement ces gestes. Mais pour les robots, c'est différent. Aujourd'hui, l'apprentissage des robots repose davantage sur le "faire", comme la téléopération coûteuse, l'exécution massive en simulation, ou la collecte de données sur des plateformes réelles dans des scènes soigneusement configurées.
En réalité, les données que les robots pourraient "regarder" existent déjà en abondance. YouTube, les ensembles de données à la première personne et les vidéos générées contiennent déjà une multitude de matériaux montrant des interactions main-objet. Le véritable goulot d'étranglement n'est pas l'absence de données , mais la capacité à effectuer la conversion des données : comment transformer ces vidéos RGB monoculaires bruyantes en trajectoires d'action exécutables par des mains multi-doigts dextres ?
Le flux de bout en bout proposé par l'équipe de UC Berkeley vise à résoudre ce problème. L'équipe de recherche a réalisé la première chaîne complète capable de générer, à partir de vidéos en ligne, des trajectoires exécutables en conditions réelles par des mains dextres : elle reconstruit d'abord le processus d'interaction main-objet en 4D à partir de vidéos RGB monoculaires de scènes réelles, puis redirige ces trajectoires d'interaction vers les mains dextres Sharpa Wave possédant 22 degrés de liberté.
Lien vers l'article : https://arxiv.org/abs/2606.19333
Lien du projet : https://do-as-i-do.com/
L'ensemble du processus a généré 500 trajectoires validées sur 20 types d'actions de manipulation, et a été déployé pour 10 tâches réelles sur une plateforme à deux bras robotiques UR3e + deux mains dextres Sharpa Wave, avec une fréquence de contrôle de 50 Hz.
Le problème : "Voir" ≠ "Savoir faire"
Pour passer à l'échelle des données pour les robots dextres, trois défis structurels persistent :
La reconstruction stable des interactions main-objet dans les vidéos RGB monoculaires reste difficile
Les vidéos de scènes réelles présentent souvent du flou de mouvement, des occlusions, des ambiguïtés de profondeur, et les types d'objets ne sont pas fixes. Des méthodes de suivi comme FoundationPose peuvent perdre le verrouillage de la pose même avec un léger flou. D'autres méthodes de reconstruction conjointe sont plus dépendantes des environnements de laboratoire ou ne peuvent traiter que des catégories d'objets prédéfinies.
Sans une reconstruction 4D main-objet stable, les vidéos humaines sont difficiles à utiliser pour l'apprentissage des robots.
Les trajectoires de référence bruyantes peuvent faire échouer la redirection d'actions
Les méthodes précédentes de redirection d'actions sensibles à la dynamique, comme SPIDER ou les méthodes de suivi basées sur l'apprentissage par renforcement (RL), supposent généralement que les données d'entrée sont des données de vérité-terrain MoCap propres. Mais en réalité, les trajectoires de référence reconstruites à partir de vidéos en ligne peuvent ne pas être propres. Elles peuvent présenter des discontinuités temporelles, des relations de contact incorrectes, voire des états initiaux physiquement impossibles.
Ces problèmes affectent directement l'optimisation ultérieure. Les expériences de l'article montrent que l'utilisation directe de méthodes d'optimisation par échantillonnage sur ce type de trajectoires de référence bruyantes peut atteindre un taux d'échec de 75 %.
La téléopération en elle-même est difficile à mettre à l'échelle
La téléopération peut fournir des données robotiques réelles, mais à un coût élevé. Elle dépend d'opérateurs experts, d'équipements dédiés et nécessite une collecte tâche par tâche. Rien qu'avec la téléopération, il est difficile de couvrir la richesse des manipulations présentes dans une heure de vidéo de cuisine humaine, sans parler de couvrir l'immense quantité de vidéos humaines sur l'ensemble d'Internet.
Ainsi, « Do as I Do » cherche à répondre à la question suivante : En s'appuyant uniquement sur des vidéos RGB monoculaires, sans a priori de préhension ni restriction sur la catégorie d'objets rigides – un robot peut-il passer de "voir" à "faire" ?
Solution
Le processus de « Do as I Do » se décompose en deux phases :
Phase 1 : Suivi stable des objets par diffusion guidée
SAM 3D peut générer un maillage d'objet pour une image monoculaire. Mais si chaque image est traitée indépendamment, les résultats générés peuvent facilement dériver et il est difficile de maintenir la continuité temporelle.
C'est pourquoi « Do as I Do » essaie d'abord de sélectionner une image d'ancrage et d'y fixer la forme de l'objet. Dans le processus de débruitage par correspondance de flux (flow matching) pour les images suivantes, le système amène le résultat d'échantillonnage de la pose de l'image courante à se rapprocher de la pose de l'image précédente, obtenant ainsi une trajectoire de pose plus continue tout en maintenant la cohérence de la forme de l'objet. Parallèlement, le système ajuste également la pose en fonction de la vitesse de rotation de l'objet estimée par le suivi de points 2D. Cela permet d'éviter un suivi trop rigide et de réduire les retours erronés (flips).
Dans une évaluation par comparaison humaine sur 150 vidéos de scènes réelles, les évaluateurs ont estimé que les résultats de suivi de « Do as I Do » étaient meilleurs que ceux de FoundationPose dans 67 % des échantillons. Pour de nombreux échantillons, plusieurs évaluateurs ont porté le même jugement.
Phase 2 : Redirection robuste d'actions pour des trajectoires de référence bruyantes
« Do as I Do » s'appuie sur le cadre d'optimisation par échantillonnage / MPPI de SPIDER, et y ajoute trois conceptions supplémentaires pour traiter les trajectoires de référence bruyantes reconstruites à partir de vidéos en ligne :
Après l'intégration de ces améliorations, « Do as I Do » a augmenté le taux de réussite de la redirection d'actions sur des trajectoires de référence bruyantes de scènes réelles, le faisant passer de 25 % à 71 %.
Résultats expérimentaux
Test de référence des capacités de reconstruction (SOTA)
Test de référence de la redirection d'actions
Source des 500 trajectoires validées
La méthode couvre finalement 20 types d'actions de manipulation. Ces actions ne sont pas de simples prises ou dépôts, mais des manipulations complexes plus proches de la vie quotidienne humaine, incluant : placer, prendre, frotter, étaler, presser, repasser, brosser, épousseter, creuser, effacer, verser, écrire, fouetter, mélanger, piquer, tasser, percer, marteler, couper et étaler de la sauce.
Déploiement réel
Ces trajectoires ne restent pas seulement en simulation. L'équipe de recherche en a sélectionné 10 actions représentatives et les a déployées sur une plateforme à deux bras robotiques UR3e + deux mains dextres Sharpa Wave, en réalisant une exécution réelle avec une fréquence de contrôle de 50 Hz.
Les actions déployées couvrent différentes formes d'objets et plusieurs modes de préhension, incluant la prise tripode pour l'écriture, la prise de force (power grasp), la prise palmaire latérale et la prise en extension parallèle.
Sharpa Wave possède 22 degrés de liberté, une échelle proche de la main humaine, ce qui la rend plus adaptée comme corps cible pour la migration des actions de la main humaine. Des actions comme fouetter, mélanger ou marteler nécessitent une coordination des deux mains, difficile à réaliser avec des pinces parallèles traditionnelles. La fréquence de changement de geste de Wave, supérieure à 4 Hz, et une force au bout des doigts de 50 N, permettent de supporter les exigences de force et de vitesse de ces actions.
De la reconstruction, à la simulation (MuJoCo Warp, 200 Hz) jusqu'au déploiement réel, l'équipe de recherche a utilisé Sharpa Wave comme modèle de main cible pour la redirection d'actions, migrant les trajectoires de manipulation des vidéos humaines vers ce corps.
EgoScale redirige également les points clés de la main humaine vers ce modèle de main, tandis que CAIP effectue l'évaluation et la validation sur une plateforme Dexmate Vega + deux mains Wave. Parce que la main cible est plus proche de la main humaine, l'écart morphologique que le système doit franchir pour migrer des actions humaines vers l'exécution robotique est également plus faible.
Manuel de sélection : Pourquoi 95 % des vidéos en ligne ne sont pas encore directement utilisables
Pour les équipes souhaitant exploiter à grande échelle les données vidéo humaines, y compris les équipes de recherche travaillant sur des directions comme EgoScale, « Do as I Do » apporte également un rappel très pratique : plus de vidéos n'est pas toujours mieux, la capacité à filtrer les données utilisables est tout aussi importante.
L'équipe de recherche a analysé 2000 segments vidéo de 10 secondes de l'ensemble de données 100DOH (déjà filtrés pour les interactions main-objet) :
Le résultat est direct : sans prétraitement des vidéos brutes, en injectant directement des vidéos en ligne dans l'apprentissage robotique, les données réellement utilisables pourraient ne représenter qu'environ un vingtième. Par conséquent, « Do as I Do » résume également un ensemble de points clés pour le filtrage des données : vérifier que la main et l'objet restent toujours dans le champ de vision, confirmer que l'action ne traverse pas de coupure de plan (cut), exclure les segments avec des mouvements de caméra excessifs, et identifier les cas où SAM 3D pourrait échouer. Pour toute équipe souhaitant établir un flux "de la vidéo humaine à l'exécution robotique" sur des mains dextres, ce processus de filtrage deviendra une étape fondamentale incontournable.
Conclusion : Les vidéos humaines deviennent des données robotiques
Pendant longtemps, « Do as I Do » ressemblait plus à un idéal dans le domaine de l'intelligence artificielle (IA) : faire en sorte que les robots comprennent les démonstrations humaines et transfèrent ces actions sur leur propre corps. Mais cette recherche de UC Berkeley transforme cet idéal en réalité : en entrant un lien vidéo, le système peut reconstruire le processus d'interaction main-objet qu'elle contient et le transformer en trajectoires d'action exécutables par Sharpa Wave.
D'un certain point de vue, le plus grand ensemble de données de manipulation au monde existe déjà – il est caché dans les vidéos que les gens enregistrent, téléchargent et partagent chaque jour. Ce que fait « Do as I Do », c'est transformer ces vidéos en trajectoires articulaires pour les 22 degrés de liberté des mains dextres.
Regarder, reconstruire, rediriger, puis exécuter sur un robot réel.
Références : https://do-as-i-do.com/
Cet article provient du compte officiel WeChat "新智元", rédacteur : LRST
