Les robots apprennent à manipuler en regardant des vidéos : Berkeley établit pour la première fois un lien direct entre les vidéos Internet et le déploiement réel sur des mains habiles
**Des robots apprennent à partir de vidéos humaines : une percée de Berkeley**
Des chercheurs de UC Berkeley ont mis au point « Do as I Do », un pipeline complet qui transforme pour la première fois des vidéos monoscopiques RGB d’actions humaines quotidiennes en trajectoires exécutables par une main robotique agile réelle (Sharpa Wave).
Le défi majeur était de convertir les vidéos bruyantes du web, souvent floues ou avec des occlusions, en données exploitables. La méthode se décompose en deux étapes : une reconstruction 4D robuste de l’interaction main-objet grâce à un modèle de diffusion guidé pour un suivi stable, puis un redirectionnement d’action optimisé pour gérer le bruit des trajectoires de référence.
Les résultats sont significatifs : le système a généré 500 trajectoires validées pour 20 types d’actions (mélanger, écrire, percer, etc.) et en a déployé 10 en temps réel (50 Hz) sur un vrai robot à deux bras et deux mains Sharpa Wave (22 degrés de liberté). Le taux de succès du redirectionnement est passé de 25% à 71% sur des trajectoires bruitées.
Cette recherche comble une lacune clé en robotique d’apprentissage, démontrant que l’immense corpus de vidéos humaines disponibles en ligne peut désormais servir de source de données pour l’apprentissage par imitation à grande échelle pour les mains robotiques agiles.
marsbit07/06 07:24
