Le prochain terrain de l'innovation en IA se concentre sur la génération 3D.
De la génération multimodale et des modèles du monde à l'intelligence spatiale et aux robots d'intelligence incarnée...
La 3D devient le moteur central de la prochaine génération d'IA.
Et maintenant, une figure légendaire du domaine de l'informatique graphique s'associe à l'entreprise la plus en vue de la piste de l'IA 3D.
Dernières nouvelles :
Tong Xin a officiellement rejoint Meshy, fondée par Hu Yuanming.
La grande réunion de Hu Yuanming et Tong Lao
Selon les dernières informations, Tong Xin occupera le poste de scientifique en chef chez Meshy, une entreprise d'IA 3D, chargé de définir la stratégie de recherche à long terme de Meshy.
Cela pourrait signifier que les deux générations de chercheurs les plus représentatifs de l'informatique graphique chinoise - le fondateur de Meshy, Hu Yuanming, et Tong Xin - travailleront ensemble pour faire progresser les modèles de monde multimodaux et les systèmes d'interaction en temps réel.
Tong Xin a travaillé pendant 25 ans au Microsoft Research Asia, où il a dirigé le groupe Network Graphics et a été associé de recherche mondial.
Ses domaines de recherche couvrent l'informatique graphique et la vision par ordinateur tridimensionnelle, plus précisément, y compris mais sans s'y limiter : la capture et la modélisation de matériaux, la synthèse de textures, le traitement et la modélisation de la géométrie 3D, l'analyse et la simulation du transport de la lumière, le rendu photoréaliste, l'animation faciale 3D.
△
L'informatique graphique, simplement dit, s'intéresse à "comment créer, manipuler et représenter un monde tridimensionnel dans un ordinateur".
Ce domaine a une position fondamentale dans les jeux, le cinéma, la simulation industrielle, et devient de plus en plus l'infrastructure de base pour la perception et l'expression de l'IA.
Après tout, sans comprendre la 3D, l'IA aura du mal à vraiment comprendre et pénétrer le monde physique.
Et Tong Xin est l'un des chercheurs qui a plongé le plus profondément et le plus longtemps dans cette direction.
En 1999, Tong Xin, fraîchement diplômé d'un doctorat de l'Université Tsinghua, est entré au Microsoft China Research Institute, créé moins d'un an auparavant, qui allait devenir le Microsoft Research Asia, surnommé "l'école des cadres de l'industrie technologique chinoise".
En plus de vingt ans, il a vu sortir d'ici d'innombrables figures clés qui ont influencé le paysage de la recherche informatique en Chine et dans le monde - mais c'est une autre histoire.
En tant que l'un des premiers chercheurs du MSRA, Tong Xin y est resté 25 ans, passant de chercheur à associé de recherche mondial et responsable du groupe Network Graphics.
Il a été témoin de presque tous les moments importants de l'informatique graphique chinoise.
△
Durant cette période, Tong Xin a publié un grand nombre d'articles dans des revues et conférences de premier plan, et ses citations Google Scholar dépassent les 21 000.
Ces recherches techniques ont laissé de bonnes choses à Microsoft, notamment l'API de développement de jeux Xbox, les logiciels de compatibilité Xbox, les pilotes d'impression 3D pour Windows, ainsi que la boîte à outils de développement graphique Direct3D, etc.
De plus, Tong Xin a laissé un autre "héritage" au groupe Network Graphics du MSRA : un groupe de forces centrales capables de soutenir la scène actuelle de l'informatique graphique chinoise.
En 25 ans, il a collaboré, échangé et encadré une génération après l'autre d'excellents chercheurs.
Zhou Kun de l'Université du Zhejiang, ACM Fellow, IEEE Fellow, directeur du State Key Lab of CAD&CG, a collaboré pendant de nombreuses années avec Tong Xin, explorant de l'impression 3D et de la conception computationnelle jusqu'au NeRF et au rendu neuronal ;
Xu Kun de l'Université Tsinghua, professeur titulaire au département d'informatique de Tsinghua, lauréat de la National Science Fund for Distinguished Young Scholars, a collaboré à plusieurs reprises avec Tong Xin pour publier des articles SIGGRAPH pendant son doctorat ;
Wang Pengshuai de l'Université de Pékin, professeur assistant à l'Institut Wang Xuan de l'Université de Pékin, est passé de stagiaire à chercheur principal sous la direction de Tong Xin et est aujourd'hui un chercheur représentatif dans le domaine de l'apprentissage de la géométrie 3D...
Ceux qui ont travaillé avec lui ont souvent une évaluation étonnamment similaire de Tong Xin :
Approchable, toujours en première ligne, capable de discuter rigoureusement de détails techniques extrêmement précis, et de rendre des problèmes techniques complexes compréhensibles en langage simple.
Parce que, selon Tong Xin, l'informatique graphique est une discipline appliquée de l'informatique, et c'est pourquoi tous les problèmes de recherche proviennent de besoins pratiques et de l'apparition de nouveaux équipements et de nouvelles données.
De plus, Tong Xin est aussi très humoristique. Par exemple, voici comment il décrit ses propres recherches :
Ma famille, à part reconnaître mes talents culinaires, plaisante souvent en disant que je passe mes journées à m'extasier toute seule devant une théière ou un lapin en 3D sur mon écran, mais que ce que je fais semble incapable, au grand, de changer la situation mondiale, et au petit, d'améliorer la vie des gens. Ils ne comprennent vraiment pas d'où vient ma satisfaction.
△
Voilà le "Tong Lao" que tout le monde dans le milieu de l'informatique graphique connaît, possédant une profondeur académique immense, mais avec une gentillesse et une curiosité enfantines.
Cela lui va bien.
"IA pour le plaisir"
On peut dire qu'à ce stade dans le monde de l'informatique graphique, seul une licorne vedette comme Meshy peut correspondre à Tong Xin.
Meshy est la première entreprise fondée par Hu Yuanming après son doctorat au MIT. Son positionnement est simple : transformer du texte et des images en modèles 3D.
Actuellement, Meshy rassemble 12 millions d'utilisateurs, et ses clients couvrent la moitié des dix premières entreprises mondiales en termes de capitalisation boursière ou d'évaluation.
En juillet de cette année, Meshy a complété un financement de série B d'environ 400 millions de dollars américains, avec une valorisation post-investissement dépassant les 10 milliards de RMB.
Ce faisant, elle a établi deux records mondiaux dans le domaine de l'IA 3D : le montant de financement en un seul tour et la valorisation, devenant l'entreprise la mieux valorisée de ce secteur.
Cependant, qu'il s'agisse d'une croissance plus rapide ou d'une valorisation plus élevée, par rapport à la vision de Meshy, tout cela est encore trop concret.
Hu Yuanming, fondateur de Meshy.ai, champion du 400 mètres aux Jeux sportifs du lycée de Yangzhou, deuxième prix du concours de chant de la classe Yao de Tsinghua, docteur en informatique graphique du MIT, nomination pour la meilleure thèse de doctorat SIGGRAPH, auteur du langage de programmation et du compilateur Taichi.
△
Il a proposé un objectif qui semble un peu particulier :
IA pour le plaisir (AI for Fun).
Sa chaîne logique est la suivante.
À l'avenir, lorsque l'AGI aura résolu une multitude de problèmes de productivité, il ne restera plus qu'un problème central à l'humanité.
"Comment allons-nous créer, exprimer, nous connecter ? Et surtout, comment allons-nous trouver un sens ?"
Lire, voyager, jouer à des jeux, regarder des séries courtes... Tout cela peut nous apporter du bonheur. Cependant, dans une ère où le temps libre est si abondant, nous "allons certainement rechercher des moyens plus innovants et plus efficaces de générer du bonheur et un sentiment de signification."
Ces moyens seront inévitablement pilotés par l'IA.
Ainsi, "utiliser l'IA pour apporter du bonheur et un sentiment de signification à l'humanité sera l'un des problèmes les plus importants des cinq prochaines années".
Et Meshy veut être la pièce de puzzle cruciale dans ce tableau.
Pour reprendre les mots de Hu Yuanming, ce qu'ils veulent faire, c'est "refonder l'informatique graphique basée sur l'IA générative, trouver la solution optimale globale pour matérialiser l'imagination."
Qu'est-ce que cela signifie ?
En d'autres termes, aujourd'hui, l'IA 3D ne doit pas se contenter de guider l'IA pour modéliser, texturer et rendre plus efficacement sous la direction de l'informatique graphique.
À long terme, le but ultime de l'IA 3D pourrait être la matérialisation de l'imagination.
Cette perspective prospective correspond assez bien à la vision de Tong Xin.
Dès 2016, Tong Xin proposait de résoudre le problème de la production de contenu graphique pour "everyone" et "everywhere", permettant à quiconque, n'importe où (anywhere), de créer du contenu média visuel.
Dix ans plus tard, "everyone everywhere créant du contenu média visuel" est devenu "permettre à quiconque de transformer son imagination en un monde qui peut être exploré, vécu et avec lequel on peut interagir, simplement avec une phrase".
C'est bien sûr un souhait très ambitieux.
Pour le réaliser, Meshy mène actuellement des travaux de recherche technologique fondamentale sur trois niveaux :
Premièrement, et le plus important - réinventer l'informatique graphique.
Pour cela, il faut sortir des solutions optimales locales du pipeline de rendu graphique de l'informatique graphique réseau passée, et utiliser l'IA pour recréer un ensemble de solutions optimales globales qui ne dépendent pas des "triangles", ces derniers étant l'unité minimale pour le rendu GPU des objets 3D.
△
Deuxièmement, construire un système de réalisation ("directeur").
Si la nouvelle informatique graphique ressemble plus à une équipe de tournage, alors un système de réalisation correspondant est indispensable pour réaliser l'IA pour le plaisir.
Ce système de réalisation est chargé de définir les mécanismes de fonctionnement du monde et la charpente 3D, et de réaliser l'écriture en temps réel du scénario.
Enfin, l'infrastructure.
Une infrastructure de génération et de rendu 3D à faible latence, haute qualité et faible coût est nécessaire, car même le moindre ralentissement dans l'expérience de l'IA pour le plaisir sera amplifié des centaines de fois.
Pour cela, il faut reconcevoir une infra haute performance, ce qui est précisément dans la lignée de la thèse de doctorat de Hu Yuanming et des bases du langage de programmation Taichi sur lesquelles Meshy a été fondée.
En dehors de ces recherches fondamentales, les nouveaux modèles de Meshy s'attaquent également aux points bloquants spécifiques du domaine actuel de l'IA 3D.
Comme le problème de la "contrôlabilité", c'est-à-dire si le résultat généré est fidèle à l'image d'entrée, se manifestant par la précision des proportions globales, la rationalité de la distribution spatiale et la fidélité des détails de surface.
Le 10 août de cette année, Meshy a publié Meshy-7, faisant un grand pas dans la direction de l'alignement géométrique (geometry alignment), plus précisément :
Pour les personnages organiques, le modèle peut restituer les expressions faciales, la structure anatomique et les plis de la peau ;
Pour les surfaces dures et les pièces mécaniques, les différentes pièces peuvent tomber précisément à la position donnée par l'image, et les pièces adjacentes ne collent pas les unes aux autres ;
Pour le texte et les motifs, les caractères en creux et les motifs en relief sont nets et propres, et peuvent être utilisés directement dans des scénarios industriels comme la gravure laser.
On peut dire que l'exploration de Meshy dans ces directions correspond aux points d'intérêt de Tong Xin, dont les recherches récentes se situent à l'intersection de la 3D et de la génération vidéo.
Comme il l'a posé en 2024 cette question classique : "La 3D n'est-elle qu'un cas particulier de la génération vidéo ?"
C'est-à-dire, si une vidéo permet déjà de "voir" un objet sous n'importe quel angle, est-il encore nécessaire de construire explicitement son modèle 3D ?
La réponse n'est pas encore claire.
Mais ce qui est certain à l'heure actuelle, c'est que les recherches de pointe et l'accumulation d'expérience en ingénierie de Tong Xin dans l'entraînement multimodale de l'IA peuvent conduire l'exploration de Meshy vers des horizons plus lointains.
"Mora : Au-delà des modèles du monde"
Alors que cet article était en cours de rédaction, Hu Yuanming a publié sur son propre compte public le nouveau travail de l'équipe Meshy, Mora.
Mora est l'abréviation de "Multimodal Open-world Real-time Architecture", signifiant "Architecture temps réel pour monde ouvert multimodal".
Cette chose est assez intéressante, vous pouvez avoir un aperçu avec la démo de jeu interactif générée par celle-ci.
En bref, elle est composée de trois pièces de puzzle :
Agent de codage (Coding agent), utilisé pour générer la charpente du monde de jeu et le code d'exécution ;
Génération 3D, c'est-à-dire la pièce de puzzle la plus importante de Meshy, qui peut être utilisée pour enrichir la charpente et produire des signaux de contrôle pour le modèle vidéo ;
Modèle vidéo, qui reçoit les signaux de scène 3D et produit l'image finale et les effets sonores.
Hu Yuanming affirme qu'il s'agit d'une technologie "dépassant les modèles du monde".
Une déclaration audacieuse. En quoi la dépasse-t-elle ?
Rappelez-vous, en janvier de cette année, Google Genie 3 a mis en ligne une démo jouable, se présentant comme "un modèle de monde universel permettant aux utilisateurs de générer des environnements réalistes explorables à partir de texte".
Suite à cela, Unity a chuté de 24% en une journée, Roblox de 27%, le marché était trop enthousiaste : À l'avenir, plus besoin de moteur de jeu pour créer des jeux, un modèle vidéo suffit.
Cependant, après plus d'un an, Hu Yuanming, après avoir testé toutes les démos de modèles du monde sur le marché, a énuméré huit grands défauts face à presque tous les modèles vidéo interactifs actuels.
Incluant une faible cohérence, une interaction simple, une faible capacité de calcul physique, une durée d'expérience courte, l'incapacité à supporter des scénarios et une logique complexe, une jouabilité principalement solo, l'incapacité à exploiter les capacités de génération de mécanismes par le Codage, et une latence relativement élevée.
En un mot, c'est difficile à jouer.
Cependant, il ne s'agit probablement pas d'un problème qui peut être résolu par de simples optimisations.
Les modèles vidéo existants n'ont pas de véritable intelligence en eux-mêmes, ils sont essentiellement juste un moteur de rendu. Suivre cette voie ne mènera finalement qu'à un simulateur de promenade.
L'approche de Mora est l'inverse. Puisque les modèles vidéo ne peuvent pas résoudre la cohérence spatiale 3D, laissons-les faire ce qu'ils savent faire.
Laissons l'agent de codage construire la charpente, laissons Meshy générer la 3D, et enfin laissons le modèle vidéo produire l'image. Ainsi, l'espace est stable, raffiné et jouable.
On voit que le patron Hu est vraiment un joueur passionné et expérimenté.
Cependant, Mora 1 en est encore à un stade très précoce.
Il ne s'agit que de valider un cadre. Puis, dans ce cadre, de se rapprocher de l'objectif étape par étape grâce au scaling.
Revenant ainsi à la question de Tong Xin, la 3D n'est-elle qu'un cas particulier de la génération vidéo ?
Mora donne une réponse préliminaire : au moins pour le moment, les deux n'ont pas besoin d'être en relation de substitution, ils peuvent chacun faire son travail, reliés par l'agent de codage.
Cette réponse est bien sûr loin d'être définitive, mais à ce stade, la question elle-même est devenue floue.
Cette sensation n'est pas étrangère à Tong Xin.
En deux ou trois décennies, il a vécu une vague après l'autre de chocs technologiques : autrefois, on dessinait la 3D uniquement en écrivant des règles à la main, puis le rendu neuronal est arrivé, l'IA a appris la lumière et l'ombre à partir de photos ; l'IA générative est arrivée, des images réalistes ne dépendant plus du pipeline 3D ; les modèles vidéo sont arrivés, faisant même émerger des mondes dynamiques de nulle part...
Les nouvelles technologies interrogeaient sans cesse les frontières de l'informatique graphique traditionnelle : Sous quelle forme l'informatique graphique devrait-elle continuer à exister ?
Face à cette question de plus en plus pressante, Tong Xin repart une fois de plus.
Il va créer une nouvelle informatique graphique avec les jeunes les plus imaginatifs de cette génération.
Cet article provient du compte public WeChat "Quantum Bit", auteur : Cheng Qian
