Première mondiale : un VLA pré-entraîné sur des vidéos humaines pures pour une manipulation habile, déployable après un finetuning avec peu de données
Pour la première fois, une étude démontre l'utilisation exclusive de vidéos humaines pour le pré-entraînement d'un modèle Vision-Langage-Action (VLA) destiné à la manipulation robotique dextre. Le cadre VITRA, développé par Microsoft Research Asie et l'Université Tsinghua, convertit automatiquement de vastes quantités de vidéos d'activités humaines non étiquetées en un ensemble de données V-L-A aligné, comprenant 1 million de clips.
Le processus automatique repose sur trois piliers : l'annotation 3D des mouvements de la main, la segmentation des actions atomiques basée sur la vitesse, et la génération d'instructions linguistiques par un VLM (comme GPT-4) guidé par la trajectoire.
Pré-entraîné sur ces données humaines diversifiées, le modèle VLA (combinant un VLM et un expert d'actions par diffusion) montre une forte capacité de prédiction d'actions en situation de zéro-shot dans des environnements inédits. Après un micro-ajout nécessitant seulement ~1.2k démonstrations robotiques réelles, il réussit à déployer sur un véritable robot (équipé de la main dextre StarMove XHAND1) des tâches complexes comme saisir, placer, verser ou balayer, avec un taux de réussite élevé et une robustesse remarquable face à de nouveaux objets et arrière-plans.
Cette approche réduit considérablement le coût d'acquisition des données robotiques et ouvre la voie à des systèmes d'intelligence incarnée plus généralisables.
marsbit06/08 08:58
