Après près de deux ans, Fei-Fei Li est de nouveau invitée chez a16z pour discuter librement de l'intelligence spatiale et de la stratégie globale de World Labs dans le domaine de la robotique.
La densité d'information est maximale tout au long de l'entretien, impossible de quitter l'écran des yeux !
Notre objectif est de faire de l'intelligence spatiale la nouvelle frontière de l'IA.
La capacité d'agir dans l'espace physique reste l'une des aptitudes les plus passionnantes et aux implications les plus profondes dans le futur monde de l'IA, et les robots en sont le cœur.
Les robots sont la première pierre de touche pour la concrétisation de l'intelligence spatiale, et aussi un scénario d'application important pour la modélisation du monde.
SceniX s'attaque précisément au problème le plus difficile dans le domaine de la robotique : les données d'entraînement et d'évaluation sont extrêmement rares.
Pour que les robots fonctionnent vraiment, nous devons libérer la puissance de la loi de l'échelle (scaling law).
L'évaluation en environnement réel est non seulement lente, mais aussi dangereuse et coûteuse. En comparaison, les environnements de simulation offrent une contrôlabilité et une analysabilité complètes ; ils apportent une valeur unique à la fois en termes de fiabilité et d'efficacité.
Le modèle spécifique utilisé n'est pas si important, car les modèles seront toujours remplacés, mais pas l'infrastructure.
À peine la vidéo mise en ligne, l'imagination des internautes dans les commentaires s'est complètement envolée. Certains ont même planifié une version « Robinson Crusoé » avec des robots, en détaillant tout l'équipement nécessaire ! (Oh là là, est-ce bien raisonnable ?)
Il faut avouer que l'état d'esprit de ces internautes est trop beau, on a envie de leur tendre immédiatement une clap et de crier « Action ».
Récemment, World Labs a annoncé l'acquisition de SceniX et prévoit de collaborer avec SceniX pour créer un terrain d'entraînement numérique évolutif pour les robots.
Peu après, Fei-Fei Li, PDG de World Labs, et Li Yunzhu, cofondateur de SceniX, ont été invités au dernier entretien d'a16z « Fei-Fei Li is Solving the Hardest Problem in Robotics », exposant pour la première fois publiquement le problème clé qu'ils s'efforcent de résoudre ensemble : permettre à l'IA non seulement de comprendre le monde, mais aussi de le transformer par l'action.
Fait intéressant, Li Yunzhu a également été un post-doctorant supervisé personnellement par Fei-Fei Li. Quelle histoire a conduit à cette collaboration ?
Sans en modifier le sens, nous avons fait relire et corriger la transcription textuelle de l'entretien par une IA.
Bonne lecture~
Pourquoi les robots sont-ils la première pierre de touche pour la concrétisation de l'intelligence spatiale ?
Martin Casado (animateur) : Fei-Fei, pouvez-vous d'abord présenter le travail de votre entreprise aux auditeurs qui ne connaissent pas World Labs ?
Fei-Fei Li : Bien sûr, World Labs est une startup créée il y a deux ans, et aussi un laboratoire de modèles de pointe.
Notre objectif est de faire de l'intelligence spatiale la nouvelle frontière de l'IA.
En termes simples, il s'agit de permettre à l'IA de générer, comprendre, raisonner et interagir de manière fluide dans des espaces réels ou virtuels.
Construire de grands modèles du monde est une voie vers l'intelligence spatiale, et c'est actuellement la direction sur laquelle World Labs se concentre le plus.
Animateur : Dès le début, vous avez souligné que les machines doivent pouvoir percevoir l'espace, raisonner sur l'espace et agir en son sein. Je pensais que l'action dans l'espace était un objectif encore lointain, mais vous acquérez maintenant une entreprise de robotique. Pourquoi le moment est-il mûr pour cette acquisition ? Quelle en est l'intention ?
Fei-Fei Li : Les robots ne sont pas la seule façon d'agir ou d'interagir dans l'espace. Dans les domaines créatifs comme les effets visuels (VFX), les jeux vidéo et le design, les gens peuvent déjà construire des mondes dans des espaces virtuels et interagir de manière immersive.
World Labs a toujours considéré que le monde dans lequel nous vivons peut devenir un multivers, et que nous pouvons créer des technologies permettant aux utilisateurs, créateurs et développeurs d'agir dans différents espaces.
Cependant, la capacité d'agir dans l'espace physique reste l'une des aptitudes les plus excitantes et aux implications les plus profondes dans le futur monde de l'IA, et les robots en sont le cœur.
World Labs a toujours estimé que les robots sont la première pierre de touche pour la concrétisation de l'intelligence spatiale, et aussi un scénario d'application important pour la modélisation du monde. Inviter SceniX et son équipe à rejoindre World Labs fait partie intégrante de notre vision et mission à long terme.
Animateur : Yunzhu, vous êtes cofondateur de SceniX. Pouvez-vous brièvement présenter votre parcours et ce que fait principalement SceniX ?
Li Yunzhu : Bonjour, je suis Li Yunzhu, cofondateur de SceniX et professeur assistant à l'Université Columbia.
Mon parcours de recherche a commencé pendant mon doctorat au MIT, suivi d'un post-doctorat à Stanford sous la direction de Fei-Fei. Mon objectif professionnel a toujours été simple : aider les robots à mieux percevoir le monde physique et à interagir avec lui.
Je suis une personne très pragmatique, je veux que les robots travaillent dans des environnements physiques réels.
Nous avons remarqué que les robots généraux actuels rencontrent de nombreux goulots d'étranglement, principalement concentrés sur les étapes d'entraînement et d'évaluation. Nous développons donc une pipeline réel-vers-sim-vers-réel, qui cartographie l'environnement réel vers un monde numérique qui lui est hautement aligné.
Par alignement, nous entendons que ce qui se passe dans le monde numérique devrait aussi pouvoir se produire dans l'environnement réel.
Ainsi, la collecte et l'évaluation de données, qui devaient initialement se faire dans l'environnement réel, peuvent être partiellement remplacées par des données générées de manière évolutive dans le monde numérique. C'est de là qu'est parti SceniX.
Nous avons constitué une équipe couvrant la robotique, l'apprentissage robotique, la simulation et le rendu, et nous essayons de construire une stack technologique complète réel-vers-sim-vers-réel pour résoudre ces goulots d'étranglement clés.
Fei-Fei Li : Il y a aussi une histoire assez amusante (rires). On pourrait penser que, comme Yunzhu a été mon post-doctorant, nous avons discuté très tôt de la fusion entre SceniX et World Labs.
En réalité, non. SceniX est d'abord venu chez World Labs en tant que client.
Le monde est vraiment petit. L'hiver dernier, probablement en novembre ou décembre, nous avons publié la première version de notre modèle génératif Marble, et SceniX s'est immédiatement inscrit et l'a utilisé.
Au début, je ne savais même pas que c'était l'entreprise de Yunzhu. En le découvrant plus tard, je lui ai téléphoné et j'ai réalisé que World Labs et SceniX avaient de nombreuses opportunités de collaboration.
Animateur : Pouvez-vous présenter brièvement Marble ?
Fei-Fei Li : D'accord. Marble est le modèle de base que World Labs entraîne et itère en continu. La capacité principale de la version publique actuelle est de prendre en entrée une ou plusieurs images, du texte ou une combinaison de ces modalités, et de les transformer en un monde géométriquement cohérent.
Ce monde paraît très réaliste et sans incohérence.
Et SceniX s'attaque précisément à un problème extrêmement difficile dans le domaine de la robotique : les données d'entraînement et d'évaluation sont très rares.
C'est très différent des modèles de langage, qui peuvent obtenir des données abondantes sur internet, mais pas les robots.
Pour que les robots fonctionnent vraiment, nous devons libérer la puissance de la loi de l'échelle (scaling law).
Mais d'où viennent ces données ? C'est une question profonde que toute la communauté robotique ne cesse de se poser.
Comment World Labs et SceniX se complètent-ils ?
Animateur : Vous avez tous deux constitué des équipes très compétentes. Dans quelle mesure vos capacités se chevauchent-elles, et dans quelle mesure étendent-elles celles de World Labs ?
Fei-Fei Li : Je pense que les deux équipes sont très complémentaires, et partagent une mission commune.
Yunzhu est l'un des cofondateurs techniques de SceniX. L'autre est Zheng Changxi, professeur à l'Université Columbia et expert mondial de la simulation, avec un background en VFX. Il a travaillé chez Tencent et a également une expérience entrepreneuriale.
Hu Xiaochen (Sonny) est un excellent responsable d'ingénierie, ayant travaillé dans une startup rachetée par Amazon, et ayant participé chez Amazon au développement de diverses stacks technologiques de vision par ordinateur.
Yunzhu apporte le leadership intellectuel et l'expertise technique dans le domaine de la robotique, couvrant à la fois le matériel et la stack complète robotique. Lors de son post-doctorat à Stanford avec moi, il était déjà un chercheur en robotique full-stack, couvrant modélisation et matériel. Les étudiants de Yunzhu ainsi que l'équipe SceniX complètent les talents que World Labs ne possédait pas encore.
Changxi apporte une capacité de simulation exceptionnelle. Le travail de World Labs s'articule beaucoup avec les mondes simulés, tandis que SceniX manquait relativement de capacités en modèles génératifs et en reconstruction 3D basée sur la vision par ordinateur, ce qui est justement le point fort de World Labs et la technologie dont SceniX avait besoin.
Une fois combinées, la carte des compétences sera plus complète.
Animateur : Yunzhu, en décidant de continuer à se développer indépendamment ou de rejoindre World Labs, comment avez-vous jugé de la compatibilité des deux parties ? Pourquoi avoir finalement pris cette décision ?
Li Yunzhu : Au début, nous avons envisagé de continuer à nous développer indépendamment. Mais après avoir échangé avec Fei-Fei et vu les synergies, nous avons trouvé très logique d'avancer ensemble.
Le travail réel-vers-sim-vers-réel de SceniX implique une reconstruction dense (Dense Reconstruction) de l'environnement, incluant la capture de son apparence, de sa structure géométrique et de sa dynamique, c'est-à-dire comment l'environnement change après application d'une action. Actuellement, la tâche de reconstruction dense reste relativement lourde.
World Labs possède de solides capacités en reconstruction parcimonieuse et en génération. Nous voyons de nombreuses opportunités d'utiliser les capacités de Marble et d'autres pour accomplir la reconstruction et la modélisation de l'environnement plus efficacement.
Animateur : Peut-on s'attendre à ce que World Labs lance un modèle de base pour la robotique ?
Fei-Fei Li : World Labs construit des modèles de base, et nous n'excluons certainement pas cette direction.
Li Yunzhu : Oui. Un modèle de base pour la robotique nécessite essentiellement un modèle multimodal.
Il doit traiter des séquences d'images, du texte, des images, de la profondeur et d'autres modalités, et l'action est une modalité très clé parmi elles. Si l'on prend les séquences et les actions en entrée, le modèle peut servir de simulateur, prédisant comment l'environnement va changer après l'exécution d'une action spécifique.
Si l'on considère l'action comme sortie, il s'agit essentiellement d'un modèle de politique (policy model), prédisant quelle action le robot doit entreprendre dans l'environnement réel pour se rapprocher d'un objectif concret.
Ce type de modèle omni peut non seulement aider les chercheurs et développeurs en intelligence incarnée à mieux comprendre la modélisation de l'environnement et la planification décisionnelle, mais aussi servir de modèle de base (backbone) pouvant être affiné pour des applications robotiques spécifiques, afin d'atteindre la fiabilité et l'efficacité attendues par les clients.
Pourquoi insister sur le 3D et la simulation ?
Animateur : Actuellement, de nombreuses entreprises de robotique adoptent une approche purement basée sur des modèles vidéo, tandis que vous insistez sur le 3D et la simulation. Quelle est la différence entre les deux approches ?
Li Yunzhu : Pour créer un monde dans lequel les robots peuvent travailler, ce monde doit capturer la structure essentielle du problème, dont une condition nécessaire est la cohérence, à la fois spatiale, temporelle, entre différents points de vue et différentes méthodes d'interaction.
C'est précisément là que nous voyons une forte synergie avec Marble. Le monde généré par Marble peut fournir une partie de l'infrastructure dont les robots ont besoin.
Imaginez un robot essayant de pousser un objet vers l'avant, et l'objet disparaît mystérieusement. De nombreux modèles de prédiction vidéo existants peuvent présenter ce genre de problème, un tel résultat ne fournit pas un signal d'action correct au robot.
Les modèles vidéo progressent rapidement, mais l'infrastructure que nous construisons peut fournir l'impulsion initiale à la roue de données, la faisant passer d'un modèle plus piloté par la simulation, à un modèle de politique robotique capable de s'exécuter dans des environnements réels, puis de collecter de nouvelles données et de les réinjecter.
Le modèle n'a pas à s'appuyer uniquement sur la physique, ni uniquement sur l'apprentissage. Il peut se situer entre les deux, capturant à la fois la structure essentielle du problème et s'améliorant continuellement avec l'accumulation de données.
Animateur : Fei-Fei a longtemps eu une étoile polaire (vision) autour de la 3D et de l'intelligence spatiale. Avez-vous également une telle vision, ou êtes-vous plus pragmatique, en cherchant d'abord à créer le système et le faire fonctionner ?
Li Yunzhu : Mon étoile polaire est de faire travailler les robots dans des environnements réels. Je suis une personne très pragmatique.
Pendant mon post-doctorat avec Fei-Fei, nous avons collaboré à la construction d'un benchmark et avons demandé au public ce qu'ils souhaitaient que les robots fassent pour eux. Parmi le millier de tâches collectées, un tiers concernait le nettoyage. Les gens n'aiment pas ces tâches ingrates, et ce sont précisément les scénarios que nous voulons résoudre avec des robots.
Fei-Fei Li : Ce que j'apprécie vraiment, c'est la méthode de travail extrêmement pragmatique des cofondateurs de SceniX.
Bien qu'ils viennent majoritairement du monde académique, ils ont immédiatement choisi de collaborer avec des concepteurs et clients de l'industrie réelle, en pénétrant des environnements réels comme des laboratoires, entrepôts et chaînes d'assemblage électronique.
Cette façon de développer la robotique est rafraîchissante et me rend très enthousiaste à l'idée de collaborer avec eux.
Animateur : Les systèmes robotiques doivent être assez précis, mais les applications créatives peuvent tolérer et accepter des erreurs, parfois même les erreurs deviennent une muse de la créativité. D'un point de vue technique, Yunzhu, comment pensez-vous coordonner ces deux exigences ?
Li Yunzhu : Je pense que les deux peuvent être coordonnées. Le modèle d'environnement n'a pas besoin d'être parfait, le modèle du robot non plus.
Animateur : Le modèle n'a pas besoin d'être parfait, que voulez-vous dire exactement ? Il doit au moins rester très proche de la réalité, non ?
Li Yunzhu : Les modèles ont toujours été une pierre angulaire importante pour le développement de nombreuses applications robotiques. Les drones, robots aspirateurs, robots quadrupèdes et bipèdes doivent tous s'appuyer sur des modèles pour fonctionner et migrer de l'environnement simulé vers l'environnement réel.
Les robots de locomotion peuvent marcher dans la neige ou les broussailles, mais le simulateur n'a pas besoin de reproduire exactement chaque buisson ou amas de neige.
La simulation doit capturer la structure essentielle du problème et prendre en charge différentes formes de randomisation dans l'environnement numérique.
Nous étudions avec quelle fidélité modéliser le monde autour du robot, afin que le système robotique entraîné dans un environnement simulé et numérique puisse être transféré vers des scénarios réels.
L'approche reposant sur la simulation est-elle viable ?
Animateur : Certains chercheurs pensent que la simulation finit toujours par dévier du monde physique, donc la collecte de données du monde réel est cruciale. L'approche reposant principalement sur la simulation est-elle viable ?
Li Yunzhu : Je ne pense pas que les deux soient contradictoires. La simulation consiste essentiellement à prédire comment l'environnement changera après l'application d'une action, c'est-à-dire à modéliser le monde.
Ce modèle n'a pas besoin d'être un pur modèle physique, il peut combiner physique et apprentissage. Nous collectons des données du monde réel, et nous utiliserons également ces données à différentes étapes de la roue de données.
Dans la phase initiale, nous pourrions insister davantage sur la physique, nous laisserons d'abord le robot apprendre le monde, pour s'assurer qu'il ait un rythme d'apprentissage et une structure de connaissances appropriés, lui permettant d'apprendre correctement.
Au fur et à mesure que nous accumulons plus de données grâce à la collecte et à la collaboration avec les clients, la modélisation de l'environnement pourra progressivement évoluer vers une approche plus pilotée par l'apprentissage. Cette transition et ce flux de données peuvent combiner les avantages de la physique, de la géométrie et de la cohérence, avec la puissance des données et du calcul.
Fei-Fei Li : Oui, ce n'est pas un choix binaire « simuler » ou « ne pas simuler ». Tous les éléments doivent se combiner pour que les robots fonctionnent vraiment.
De même, nous, humains, effectuons beaucoup de simulation mentale avant d'agir. La simulation joue un rôle important que les données du monde réel ne peuvent assumer, celui du « raisonnement contrefactuel ».
Les gens envisagent des événements qui ne se sont pas encore produits, ne peuvent pas se produire, ou pour lesquels il n'y a pas suffisamment de données réelles, et apprennent comment agir à travers cette réflexion. Les gens le font toujours, les robots le peuvent aussi.
Je crois que la planification de chaque match de football inclut une forme de simulation, qu'elle soit numérique, sur tableau blanc ou autre. Le rôle de la simulation est de soutenir le raisonnement contrefactuel. C'est crucial pour les robots, car nous ne pouvons pas collecter suffisamment de données du monde réel pour toutes les situations.
La voiture autonome en est un cas concret. Waymo a déclaré avoir utilisé des milliards d'heures de données de simulation, et son approche repose fortement sur la simulation, pas seulement sur les données du monde réel.
La voiture relève encore d'un problème robotique relativement simple, donc la simulation joue clairement un rôle important dans l'apprentissage robotique.
Li Yunzhu : La simulation peut apporter des bénéfices à deux niveaux : la fiabilité et l'efficacité.
En termes de fiabilité, pour qu'un système robotique fonctionne de manière stable dans un environnement réel, les données doivent couvrir systématiquement l'espace d'état et les variations que le robot est susceptible de rencontrer.
En simulation, nous pouvons randomiser et contrôler systématiquement l'éclairage, le type de géométrie et les paramètres physiques, afin de garantir une couverture adéquate de l'espace d'état du robot, améliorant ainsi la fiabilité du système robotique.
Le deuxième bénéfice est l'efficacité. De nombreuses équipes collectent des données par téléopération. Avec les équipements de téléopération et exosquelettes existants, la vitesse de collecte peut même être plus lente que l'exécution humaine directe.
Pour de nombreux clients, la vitesse de collecte humaine n'est pas suffisante, ils veulent que le robot soit plus rapide que l'homme. Mais accélérer le robot ne signifie pas simplement augmenter la vitesse d'entraînement, car la gravité est constante, et l'augmentation de vitesse seule ne peut résoudre les problèmes de déséquilibre dynamique qui en découlent.
Or, en simulation, nous pouvons systématiquement accélérer le comportement du robot, tout en l'entraînant à prendre en compte les changements de dynamique environnementale.
Ainsi, la simulation offre une valeur unique à la fois en fiabilité et en efficacité.
Comment SceniX utilise-t-il sa plateforme pour entraîner et évaluer les robots ?
Animateur : Comment SceniX utilise-t-il sa propre plateforme pour entraîner et évaluer les robots ?
Li Yunzhu : Il y a deux utilisations principales : l'entraînement et l'évaluation.
Commençons par l'évaluation, souvent négligée en robotique ; lors de l'entraînement d'un modèle de robot, nous devons connaître ses performances, et l'évaluation est la source d'information qui alimente l'itération.
Animateur : Les praticiens de l'IA comprennent l'évaluation, mais chacun peut l'interpréter différemment. Que signifie exactement l'évaluation ici ?
Li Yunzhu : Je pense que l'évaluation consiste à comprendre les performances d'un point de contrôle (checkpoint) spécifique, par exemple, si le taux de réussite est de 95% ou 99,9%.
Un critère clé dans l'industrie pour juger une méthode d'évaluation est de voir combien de temps il faut pour distinguer un checkpoint avec 90% de performance d'un autre à 92%. Si chaque fois, il faut déployer le modèle dans le monde physique réel pour exécuter des tests afin de vérifier cette amélioration de 2%, le cycle de validation sera interminable.
Actuellement, l'évaluation des robots dans le monde réel est plusieurs ordres de grandeur plus lente que l'évaluation des modèles de langage. Les tâches robotiques elles-mêmes sont également très diverses. Le robot doit réellement exécuter des actions, se déplacer dans l'espace et obéir aux lois de la physique.
Les démonstrations vidéo de robots sont souvent lues en accéléré (8x ou 10x), précisément parce que les robots agissent très lentement.
L'évaluation en environnement réel est non seulement lente, mais aussi dangereuse et coûteuse. C'est pourquoi certains clients ont besoin d'environnements numériques pour évaluer leurs systèmes robotiques.
Puisque nos environnements numériques se sont avérés alignés avec le monde réel, si un checkpoint performe mieux en simulation, il performera probablement aussi mieux en environnement réel. Nous pouvons utiliser les signaux de l'environnement numérique pour évaluer les systèmes robotiques de manière beaucoup plus sûre, évolutive et rapide.
De plus, pour l'entraînement, la contrôlabilité est cruciale.
Nous voulons contrôler les variations d'état, de paramètres, d'éclairage, de friction et d'autres paramètres physiques, voire de types de géométrie d'objets ; l'entraînement doit couvrir suffisamment de scénarios diversifiés pour générer des données suffisamment informatives, permettant au robot d'acquérir de la Robustesse. Ceci est extrêmement difficile à réaliser en environnement réel.
La collecte de données par téléopération est non seulement lente, mais aussi limitée par le nombre de robots, d'appareils de téléopération et une série de problèmes opérationnels liés aux données.
En comparaison, l'environnement de simulation offre une contrôlabilité et une analysabilité complètes.
Dans le monde numérique, vous pouvez clairement définir la couverture de la distribution de données et être confiant dans la fiabilité du robot au sein de cette distribution. Cette déterminisme, cette efficacité et cette évolutivité sont les motivations centrales des clients à choisir le monde numérique pour l'entraînement des systèmes robotiques.
Fei-Fei Li : Oui. Même avant que SceniX ne contacte World Labs, des clients avaient déjà approché Marble de leur propre initiative, confirmant l'existence réelle de ce type de besoin. Bien que nous n'ayons pas encore la capacité de servir à ce moment-là, nous avons reçu de nombreuses demandes de sociétés de robotique, incluant à la fois des équipes de développement de modèles en phase précoce et des entreprises se concentrant sur des scénarios d'application pratiques. Nous suivons ces demandes de près.
Animateur : Lorsque les gens entendent que World Labs entre dans le domaine de la robotique, ils pourraient penser que vous allez fabriquer du matériel, développer des cerveaux de robot. Mais vous ne semblez pas faire cela. À quelle étape du cycle de développement robotique vous situez-vous ? Quelle est la frontière avec les partenaires de l'écosystème ?
Li Yunzhu : Nous construisons une infrastructure et des logiciels associés permettant aux développeurs de créer des mondes dans lesquels les robots peuvent apprendre et être évalués. Cette infrastructure n'est naturellement liée à aucun modèle spécifique, ni à aucune morphologie robotique spécifique.
Animateur : Autrement dit, vous ne fabriquez pas de robots, vous construisez des environnements, dans lesquels d'autres entreprises peuvent placer leurs cerveaux de robot pour naviguer et apprendre ?
Li Yunzhu : Notre plateforme n'est pas exclusive à un robot ou à un modèle. Qu'il s'agisse de robots à un ou deux bras, sur base fixe ou mobile, et même de toutes sortes de pinces et effecteurs terminaux complexes, ils peuvent tous être directement placés dans notre monde numérique pour fonctionner.
Le but est unique : qu'ils soient stables et rapides lorsqu'ils travaillent dans un environnement réel.
Idem pour les modèles. Les données que nous générons peuvent servir à entraîner de nouveaux modèles à partir de zéro, ou à affiner les modèles VLA (Vision-Language-Action) ou World Action Model populaires actuellement.
Le modèle spécifique utilisé n'est pas si important, car les modèles seront toujours remplacés, mais pas l'infrastructure.
En termes simples, nous ne prenons pas parti pour le matériel, et ne misons pas sur des algorithmes. Nous ne faisons qu'une chose : construire un monde numérique universel, permettant à n'importe quel robot d'y acquérir de vraies compétences, et d'être tout aussi fiable une fois dans le monde réel.
Quelle voie les robots devraient-ils suivre pour se concrétiser ?
Animateur : Vous avez mentionné que les attentes du public envers les robots humanoïdes étaient peut-être trop ambitieuses, et qu'à court terme, les points de chute plus réalistes étaient des scénarios contraints comme les entrepôts. Comment ce jugement affecte-t-il la focalisation du travail de World Labs ?
Li Yunzhu : C'est une très bonne question. La concrétisation des robots dans le monde réel suit généralement une voie d'évolution : des environnements totalement structurés, aux environnements semi-structurés, et enfin aux environnements non structurés.
Les environnements totalement structurés sont comme les usines ou les chaînes de production automobile, toutes les variables sont connues et contrôlables, ces scénarios sont automatisés depuis des décennies.
Les environnements semi-structurés sont comme les entrepôts Amazon, les restaurants ou les hôtels – l'environnement est globalement contrôlable, les tâches sont adaptées aux robots, mais des éléments perturbateurs imprévus comme des vêtements peuvent toujours apparaître.
Quant aux environnements non structurés, comme nos maisons, c'est là le Saint Graal ultime de la robotique.
La Robustesse provient d'une couverture suffisante des scénarios. Au moins à ce stade, s'attaquer d'abord aux environnements semi-structurés est plus faisable que de se précipiter directement dans des environnements complètement non structurés. Nous finirons par aller vers ces derniers, mais nous souhaitons suivre une voie plus durable et plus pragmatique.
Fei-Fei Li : Les robots humanoïdes s'adaptent aux environnements non structurés en imitant le corps humain, et l'humain s'est déjà adapté aux environnements non structurés par l'évolution.
Nos doigts et nos jambes ne sont pas les outils optimaux pour exécuter une tâche unique. Si le seul but de l'espèce humaine était de grimper aux arbres, nous aurions probablement des doigts de forme différente.
Le corps que l'humain a finalement évolué est très polyvalent, mais pas nécessairement optimal pour une tâche unique. Parce que cette forme est avantageuse pour survivre dans des environnements non structurés.
Mais d'un point de vue commercial et technique pragmatique, l'environnement non structuré combiné à un corps généraliste est le problème le plus difficile à résoudre.
Pour un problème spécifique, ce n'est peut-être même pas la bonne approche. Une morphologie corporelle plus spécialisée peut être plus adaptée à des tâches plus étroites.
Par conséquent, le défi pour SceniX est de rester neutre vis-à-vis de la morphologie robotique, permettant à l'infrastructure de servir différentes formes corporelles et différents environnements semi-structurés.
Animateur : Les modèles de langage génératifs peuvent générer du texte ou du code bien plus vite et à moindre coût que les humains. Mais le cerveau et le corps humains sont très efficaces pour la navigation en 3D et la manipulation d'objets. Dans un avenir prévisible, les robots pourront-ils atteindre un rapport efficacité énergétique/coût comparable à celui des humains pour les tâches physiques quotidiennes ? Cela prendra-t-il cinq ans, ou est-ce presque impossible ?
Li Yunzhu : Je pense que cela prendra beaucoup de temps. Faire travailler les robots dans des environnements réels est, en fin de compte, un problème systémique.
Nous devons sérieusement considérer comment le matériel, le logiciel et le « cerveau » collaborent, y compris des détails comme le coefficient de friction des doigts. Pour qu'un système se concrétise vraiment, de nombreux éléments doivent être en place simultanément, et une itération continue est nécessaire.
Mais ce qui m'enthousiasme, c'est que la pointe de la technologie en apprentissage robotique progresse à une vitesse qui dépasse mes attentes. Les problèmes que j'étudie maintenant sont complètement différents de ceux du début de mon doctorat. Cela montre que tout l'écosystème évolue rapidement, et les divers composants nécessaires à la construction de systèmes robotiques commencent également à converger.
Mais nous devons calibrer nos prédictions. De nombreux progrès sont à venir, mais atteindre l'efficacité énergétique et les capacités globales au niveau humain nécessitera encore plus de temps.
Fei-Fei Li : Actuellement, la chose la plus difficile en IA est de maintenir un optimisme juste et calibré.
Même les grands modèles de langage n'ont pas l'efficacité énergétique du cerveau humain. Le cerveau humain consomme environ 30W, donc l'écart est encore important pour l'instant.
Animateur : Cependant, je pense que pour des tâches étroites comme la génération d'images ou l'ingénierie logicielle, le rapport efficacité énergétique/coût pourrait se rapprocher du niveau humain. C'est juste que le domaine de la robotique est probablement encore loin derrière.
Quel est l'objectif dans deux ans après la fusion ?
Animateur : Le fait de rejoindre World Labs a-t-il modifié la trajectoire stratégique de l'équipe, ou relevé le plafond des objectifs que vous pouvez poursuivre ?
Li Yunzhu : Cela a changé notre trajectoire de manière très profonde. Nous voyons de nombreuses capacités libérées, surtout en collaborant avec World Labs, nous pouvons accomplir l'ensemble du processus de modélisation de l'environnement de manière plus efficace et évolutive.
Les capacités actuelles des modèles de langage sont impressionnantes, mais vous ne laisseriez probablement toujours pas un modèle réserver un billet d'avion ou un hôtel pour vous sans vérifier, il faut généralement qu'une personne vérifie la sortie du modèle.
Mais avec les robots, c'est différent, un modèle de robot prêt à l'emploi doit pouvoir fonctionner de manière fiable dans des environnements réels.
Actuellement, nous n'avons ni suffisamment de données, ni toute l'infrastructure nécessaire pour que les robots soient fiables et prêts à l'emploi.
Par conséquent, créer des mondes numériques évolutifs dans lesquels les robots peuvent apprendre et être évalués libérera un énorme potentiel.
Nous pouvons, grâce aux données générées dans le monde numérique, remplacer la collecte de données coûteuse ou dangereuse dans l'environnement réel, permettant un apprentissage et une évaluation évolutifs pour les robots.
Animateur : Alors, les deux parties vont-elles s'intégrer immédiatement, ou SceniX restera-t-il relativement indépendant dans un premier temps, avançant à un rythme plus long terme ?
Fei-Fei Li : Nous avancerons de manière prudente, sans nous précipiter pour intégrer immédiatement toute la base de code et les équipes. SceniX possède déjà une stack technologique relativement complète et bien pensée, ses propres clients et produits. Nous leur laisserons du temps.
Cependant, l'intégration se produira certainement. Nous avons déjà commencé à discuter de simulation, ainsi que des modèles de base potentiels et des modèles conditionnés par l'action, et SceniX utilise déjà Marble en tant que client interne.
Nous procéderons progressivement à l'intégration, mais sans précipitation pour mélanger les équipes en un « salad bowl ». (rires)
Animateur : L'équipe restera-t-elle sur place ?
Fei-Fei Li : Yunzhu déménagera avec une partie des membres de l'équipe à San Francisco. Une fois installé, World Labs deviendra officiellement une entreprise opérant sur les deux côtes américaines. Notre siège social est à San Francisco, j'habite à Palo Alto. Nous ouvrirons un bureau à New York, ce qui m'enthousiasme car cela nous aidera à attirer des talents de la côte Est.
Nous avons également discuté de déployer des robots dans les deux bureaux, afin de tester et perfectionner la stack d'ingénierie pour la téléopération à distance des robots. Quoi qu'il en soit, nous devrons finalement fournir cette capacité aux clients.
Animateur : Pour être plus concret, quel serait le cas de réussite idéal dans deux ans ? Quel produit présenteriez-vous alors, qui l'utiliserait et comment ?
Fei-Fei Li : Dans deux ans, si l'équipe SceniX et World Labs pouvaient obtenir quelques cas clients vérifiés dans quelques verticales importantes, et prouver que nos systèmes et infrastructures aident réellement à répondre à leurs besoins d'automatisation, je serais très satisfaite.
Ces clients deviendront des cas phares, nous aidant à étendre davantage nos activités.
Entretien complet :
https://www.youtube.com/watch?v=-tabaM5l3s0
Liens de référence :
[1]https://marble.worldlabs.ai/
[2]https://www.worldlabs.ai/blog/scenix
Cet article provient du compte officiel WeChat « Quantum Bit », auteur : Wen Ting
