Le grand résultat de l'intelligence incarnée, il arrive !!!
Depuis la semaine dernière où Generalist a publié son cerveau robotique Gen 1.5 capable d'apprendre des actions de 3 à 12 secondes ~
À l'instant, la startup nord-américaine de robotique Skild AI a dévoilé un tout nouveau modèle de base pour robots, S1, qui repousse directement la longueur de tâche pour l'apprentissage contextuel à plus de 10 minutes.
Ce S1 met l'accent sur l'apprentissage contextuel (in-context learning, ICL) :
Pas besoin de collecter des données spécifiques pour une nouvelle manipulation lors d'une phase de post-entraînement. Il suffit de regarder une vidéo de démonstration humaine pour "imiter le geste" et exécuter directement un ensemble complexe de procédures opérationnelles jamais vues auparavant.
Dans la démonstration officielle, le robot a accompli des tâches longues comme faire des crêpes, préparer du café, rempoter une plante et assembler un équipement. Et sur des tâches non vues auparavant, il a atteint un taux de réussite de 66 %, bien supérieur aux VLA basées sur des instructions linguistiques (seulement 9 %).
De plus, même en suivant la voie traditionnelle du fine-tuning par post-entraînement, pour égaler les performances de S1 après une seule démonstration, il faudrait lui fournir environ 380 démonstrations de la tâche.
Très étonnant !
On peut dire que cette vague récente de travaux centrés sur l'apprentissage contextuel a ravivé les espoirs de beaucoup concernant la robotique incarnée.
Un internaute sur X a déclaré que des robots génériques pourraient apparaître dans deux ans, et non dans sept ans.
Un autre internaute a déclaré que du Rhoda, au Generalist de la semaine dernière, et maintenant aux tâches de 10 minutes du Skild S1, le véritable moment GPT des robots semble être en train d'arriver.
Car une fois cette capacité vraiment généralisée, développer des compétences robotiques pourrait vraiment devenir comme écrire un Prompt pour ChatGPT.
Est-ce vraiment si magique ? Voyons cela ensemble.
De l'ère BERT, vers l'ère GPT
Pour comprendre comment S1 réalise cet apprentissage contextuel, voyons d'abord comment un robot traditionnel apprend une nouvelle compétence.
Dans le pipeline traditionnel, l'apprentissage robotique ressemble beaucoup à celui des grands modèles :
D'abord un pré-entraînement sur des masses de données pour acquérir des capacités de base ; puis, pour un scénario spécifique, collecter des données pour une tâche particulière et, via un post-entraînement, permettre au robot d'acquérir des compétences spécialisées.
Seulement, le problème est que, si le processus est similaire pour les robots et les grands modèles, le coût des données n'a rien à voir.
Les données de pré-entraînement des grands modèles proviennent en grande partie d'Internet ; même pour des scénarios spécialisés comme la programmation ou les agents, de nombreuses données de post-entraînement peuvent être obtenues rapidement en ligne, voire générées automatiquement.
Mais les robots sont plus mal lotis. Les données de pré-entraînement doivent être collectées dans le monde réel, et les données de post-entraînement aussi.
Alors, dans le blog technique, Skild AI le dit clairement :
Si un modèle de base pour robots nécessite encore des dizaines, des centaines d'heures de données réelles et un nouveau post-entraînement pour chaque nouvelle tâche, alors je demande, en quoi ce "modèle de base" est-il basique ?
Ils citent même des recherches existantes indiquant que si les données pour une nouvelle tâche sont déjà suffisantes, un modèle entraîné de zéro pourrait même rattraper un modèle de base pré-entraîné puis affiné.
Alors, à quoi sert vraiment le pré-entraînement pour la robotique incarnée ?
La réponse de Skild est : l'apprentissage contextuel.
Pour avoir un point de référence, Skild utilise la trajectoire de développement des grands modèles comme comparaison.
Les premiers BERT étaient déjà puissants, mais pour chaque nouvelle tâche, il fallait souvent préparer de nouvelles données et refaire un fine-tuning.
Ce qui a vraiment changé la donne, c'est la capacité d'apprentissage contextuel qui est apparue progressivement après GPT-3 :
Pas besoin de modifier les poids du modèle, il suffit de donner quelques exemples dans le Prompt, et le modèle peut temporairement "apprendre" une nouvelle tâche.
Sur cette base, Skild estime que les robots sont actuellement encore coincés dans une ère similaire à celle de BERT, et ce qu'ils veulent vraiment, c'est que les robots accomplissent le même changement de paradigme.
C'est-à-dire que la véritable valeur du pré-entraînement ne devrait pas être seulement de réduire la collecte de données pour le post-entraînement, mais de permettre aux robots d'acquérir finalement la capacité d'"apprendre directement à partir du contexte".
Apprentissage contextuel
Alors, qu'est-ce que S1 apprend exactement du contexte cette fois ?
Skild estime que deux dimensions permettent vraiment de tester la capacité d'apprentissage contextuel d'un robot :
La première : peut-il apprendre de nouvelles compétences totalement absentes de ses données d'entraînement ? La seconde : peut-il recomposer des compétences existantes pour accomplir une nouvelle tâche longue et complexe ?
Par exemple, le robot peut apprendre à faire des crêpes simplement en regardant une vidéo de quelqu'un qui retourne une crêpe —
même si cette compétence n'a jamais été présente dans ses données d'entraînement.
Parallèlement, comparé aux vidéos de quelques secondes présentées la semaine dernière par Gen-1.5, S1 repousse cette fois l'apprentissage contextuel à un maximum de 10 minutes.
Dans des tâches comme le rempotage d'une plante, chaque tâche nécessite l'exécution continue de dizaines d'étapes. Dans ces démonstrations de tâches longues, le robot doit non seulement imiter, mais aussi savoir :
Où en suis-je, quelle est la prochaine étape, comment combiner les compétences, et comment continuer si je me trompe en cours de route.
Autrement dit, le robot doit vraiment comprendre l'intention tâche-action dans la démonstration vidéo, s'adapter et improviser, et pas seulement cloner un comportement.
De plus, dans la tâche de rempotage, seulement 11 minutes se sont écoulées entre le début de l'enregistrement de la démonstration et le moment où le robot s'y est mis lui-même, surpassant directement en efficacité le post-entraînement traditionnel.
Enfin, pendant tout ce processus, S1 n'a pas utilisé de fine-tuning, ni de post-entraînement, les poids du modèle sont restés complètement inchangés. Avec le même ensemble de poids, il a accompli toutes les tâches présentées dans le blog.
Cela correspond fondamentalement au saut des grands modèles, passant de BERT nécessitant un affinage spécifique au scénario, à GPT-3 capable d'accomplir des tâches OOD en ne regardant qu'une démonstration.
La seule différence est que le prompt utilisé n'est plus le langage, mais une vidéo d'action qui permet de mieux s'aligner sur la tâche en aval.
Expérience : L'ICL est-il vraiment plus scalable ?
Dans la partie expérimentale, Skild a d'abord comparé, sur des tâches (vues dans les données d'entraînement) et des tâches non vues, le Prompt vidéo ICL avec le Prompt linguistique traditionnel des VLA.
Les résultats des tests montrent qu'avec seulement 1000 heures de données d'entraînement, le Prompt linguistique donne de meilleurs résultats, mais à mesure que l'échelle des données augmente, l'ICL commence à surpasser.
À 100 000 heures, sur les tâches vues à l'entraînement : ICL 96 %, Prompt linguistique 89 %.
Sur les tâches OOD, vraiment cruciales : ICL 66 %, Prompt linguistique seulement 9 %, soit un écart de plus de 7 fois.
Pour vérifier la généralisation de S1, Skild a effectué des tests dans différentes conditions expérimentales.
Les résultats montrent que la baisse de performance des VLA avec Prompt linguistique peut atteindre jusqu'à 3 fois celle de l'ICL.
Cela signifie que ce que l'ICL apprend n'est pas une répétition d'actions fixes dans un scénario donné, mais une capacité à mieux replanifier en fonction de l'environnement actuel.
Enfin, concernant l'apprentissage one-shot.
S1, sans aucun post-entraînement sur une nouvelle tâche, en ne regardant qu'une seule démonstration vidéo, atteint un taux de réussite de 66 %.
En comparaison, un VLA traditionnel aurait besoin d'environ 380 démonstrations en post-entraînement pour atteindre le même niveau.
Bien sûr, en poussant jusqu'à 2000 démonstrations, le post-entraînement traditionnel peut finalement atteindre 86 %.
La conclusion n'est donc peut-être pas "les robots n'auront plus besoin d'être entraînés", mais plutôt :
Avant, une nouvelle compétence devait être enseignée des centaines de fois ; maintenant, après l'avoir vue une fois, ils peuvent directement atteindre 60-70 % de réussite.
C'est ce que Skild appelle la loi d'échelle de l'ICL :
Plus il y a de données, plus le modèle ne fait pas que maîtriser plus de compétences, mais devient de plus en plus capable d'"apprendre des compétences à partir de démonstrations".
Qui est Skild AI ?
Skild a été fondé en 2023, avec deux figures connues du milieu de la robotique de CMU : Deepak Pathak et Abhinav Gupta.
Tous deux sont professeurs au Robotics Institute de l'université Carnegie Mellon. Deepak travaille principalement sur l'apprentissage robotique, l'apprentissage par renforcement et la vision par ordinateur. Abhinav est un expert dans les domaines de la vision par ordinateur et de l'apprentissage auto-supervisé.
Dès 2022, les deux avaient collaboré sur WHIRL, permettant à un robot d'imiter en one-shot en regardant des vidéos humaines. On peut dire que la voie de S1 n'est pas non plus sortie de nulle part.
En tant qu'entreprise star du monde nord-américain de la robotique incarnée, en 2024, Skild sortait à peine du mode furtif et levait 300 millions de dollars en série A, avec une valorisation de 1,5 milliard de dollars ;
En janvier de cette année, elle a achevé un tour de financement de série C de 1,4 milliard de dollars, portant sa valorisation directement à plus de 14 milliards de dollars, avec SoftBank en tête, et Nvidia, Bezos, etc., continuant à participer. En un peu plus de deux ans, la valorisation a presque été multipliée par 10.
Comparé transversalement, le positionnement de Skild dans le paysage nord-américain de la robotique incarnée est également assez particulier.
Alors que PI semble plutôt faire un "GPT pour robots", Generalist a récemment mis l'accent sur le one-shot learner, et Genesis AI, Sunday récemment sur une approche full-stack, Skild a toujours insisté sur une phrase : Any robot, any task, one brain (N'importe quel robot, n'importe quelle tâche, un seul cerveau).
Il met plus l'accent sur le cross-embodiment, souhaitant qu'un même Skild Brain puisse fonctionner sur des corps différents : bras robotiques, quadrupèdes, humanoïdes, etc.
Pour le dire simplement, il veut devenir l'Android de l'ère des robots : une couche d'intelligence, insérée dans divers corps différents.
Cela détermine aussi la stratégie de données de Skild : tout prendre.
Skild considère les données robotiques selon trois dimensions : hardware proximity, diversity et scalability :
La téléopération sur robot réel est la plus proche du hardware, mais chère ; les vidéos humaines à la première personne sont les plus faciles à mettre à l'échelle, mais très éloignées du corps robotique ; la simulation est bon marché et permet de produire massivement, mais il y a le sim-to-real gap.
C'est pourquoi leur stratégie pour Robot Teleop, UMI, Egocentric Video, Simulation est essentiellement de tout utiliser.
Et l'ICL de S1 est en fait le prolongement naturel de cette voie :
Septembre 2025 LocoFormer → Février 2026 premier ICL In-Domain → Mai première fois retourner une crêpe → Août sortie de S1, repoussant directement l'apprentissage contextuel aux tâches longues OOD d'un maximum de 10 minutes.
Donc, la question qui mérite vraiment d'être suivie maintenant n'est peut-être plus de savoir si les robots peuvent apprendre plus de compétences, mais plutôt :
Le coût d'apprentissage d'une nouvelle compétence par un robot peut-il vraiment passer de "l'enseigner des centaines de fois" à "tu le fais une fois, il regarde une fois".
Si cette loi d'échelle continue de se vérifier, alors le soi-disant moment GPT des robots pourrait vraiment ne pas être qu'un autre argument marketing.
Lien de référence : [1]https://www.skild.ai/blogs/s1
Cet article provient du compte public WeChat "Quantum Bit", auteur : henry
