【Présentation】Fable 5 est de retour en ligne. Peter Gostev d'Arena.ai a présenté dans une vidéo 63 mondes 3D, presque tous générés d'un seul coup. En voyant la vidéo, même Karpathy, qui vient de rejoindre l'équipe de pré-entraînement d'Anthropic, a déclaré ne pas s'y attendre.
Un ours se tient au bord de la rivière, attrapant dans sa gueule un saumon qui bondit.
Le poisson se débat désespérément dans sa bouche.
Cette scène a littéralement stupéfié Andrej Karpathy.
Après avoir visionné cette série de vidéos 3D, il a tweeté :
C'est incroyable. Je n'avais pas réalisé auparavant que les modèles pouvaient créer des mondes aussi merveilleux, riches et jouables.
Il a également lâché un nouveau terme : fablemaxxing.
C'est magnifique, du fablemaxxing de haut niveau ! À chaque nouveau niveau de modèle, il y a toujours quelque chose de complètement nouveau qui fait un bond qualitatif et surprend.
Karpathy a rejoint Anthropic en mai de cette année, intégrant précisément l'équipe de pré-entraînement.
Fable 5 a été lancé en juin, suspendu trois jours plus tard par les contrôles à l'exportation américains, puis réautorisé le 1er juillet. L'auteur de la vidéo est Peter Gostev de la plateforme d'évaluation AI Arena.ai.
Avec Fable 5, il a généré d'un seul élan 63 créations 3D de haute difficulté, presque toutes utilisant la bibliothèque graphique Three.js, la plupart du premier coup.
Il y a un peu plus d'un mois, faire créer par l'IA d'un seul coup un monde 3D dans lequel on peut entrer et jouer relevait encore presque de la science-fiction. Aujourd'hui, Fable 5 peut en produire 63 d'affilée.
Ainsi, Gostev ne peut s'empêcher de s'émerveiller dans la vidéo : même les gens du laboratoire ne comprennent pas encore pleinement ce dont il est capable.
1600 lignes de code, un Manhattan sous-marin vivant
Parlons d'abord de celui qui a le plus impressionné dans la vidéo.
Tout Manhattan est immergé sous l'eau. Central Park, les gratte-ciel, les textures des rues, les détails sont incroyablement riches.
Gostev a regardé le code : 1600 lignes. Juste ces 1600 lignes soutiennent toute une ville sous-marine vivante.
Manhattan généré par Fable 5, de Battery à Inwood, toute l'île est visible, des dizaines de milliers de bâtiments ont chacun leur silhouette, le tout soutenu par 1600 lignes de code. (Source : vidéo de Peter Gostev)
De tels mondes, Gostev en a créé 63 au total, répartis en 6 grands thèmes.
Parmi les mondes 3D géants : Istanbul s'étendant sur deux continents, Londres à travers 2000 ans d'histoire, les pyramides majestueuses, l'éruption du Vésuve à Pompéi, le Golden Gate Bridge avec sa circulation, tous ont été construits ;
Istanbul générée d'un seul coup par Fable 5, à cheval sur l'Europe et l'Asie, s'étageant jusqu'à la mer. (Source : vidéo de Peter Gostev)
Le royaume comestible généré par Fable 5, une usine de chocolat en bonbons. (Source : vidéo de Peter Gostev)
Parmi les scènes jouables : du parkour sur les toits de New York, un terrain de jeu physique où l'on peut démonter toute une ville, un simulateur de vol avec tableau de bord complet.
Le plus incroyable, c'est de pouvoir entrer dans des peintures célèbres. La Nuit étoilée de Van Gogh, les Nymphéas de Monet, chaque toile devient un monde 3D que l'on peut traverser.
Il y a aussi une catégorie de perspectives impossibles : une fourmi d'un millimètre observant un jardin sous la pluie, ou ouvrant les yeux pour se trouver face à une montagne d'or.
Fable 5 réduit la perspective à un millimètre de haut, les brins d'herbe deviennent des montagnes imposantes. (Source : vidéo de Peter Gostev)
Parmi les merveilles naturelles : les chutes du Niagara, une forêt où les lucioles clignotent à l'unisson, et la scène qui a stupéfié Karpathy, l'ours attrapant le saumon, appartient à cette catégorie.
Enfin, les éléments et l'univers : la mer Rouge fendue, une île volcanique en train de naître, un ascenseur spatial s'élevant vers le ciel.
La mer Rouge générée par Fable 5 se fend en deux, on peut marcher entre les deux murs d'eau. (Source : vidéo de Peter Gostev)
Pour Gostev, la qualité d'une scène unique n'a jamais été le problème. La difficulté réside dans la capacité du modèle à gérer simultanément une multitude d'éléments et à les faire fonctionner ensemble de manière cohérente.
Les modèles plus faibles font souvent bien les 80% initiaux, mais les 20% finaux s'effondrent complètement, ce qui allonge paradoxalement le temps de débogage.
On ne peut pas copier un tableau tel quel, il faut d'abord le comprendre
Si construire une ville semble encore suivre une certaine logique, c'est le lot de peintures suivant qui a fait dire à Gostev plusieurs fois « incroyable ».
La Nuit étoilée de Van Gogh.
On ne peut pas copier un tel tableau, avec sa toile chargée de peinture épaisse, ses coups de pinceau tourbillonnants.
La méthode de Fable 5 consiste à utiliser des lignes indépendantes pour reconstruire cette nuit étoilée dans l'espace 3D, puis à vous laisser voler à l'intérieur, naviguer entre les tourbillons.
Fable 5 décompose La Nuit étoilée de Van Gogh en lignes tridimensionnelles, la reconstitue dans l'espace 3D, vous permettant de voler parmi les étoiles tournoyantes et les tourbillons. (Source : vidéo de Peter Gostev)
Les Nymphéas de Monet, La Grande Vague de Kanagawa d'Hokusai, sont également « ouverts » en mondes navigables.
Pour Gostev, Fable 5 excelle particulièrement à expliquer les choses clairement, pouvant démontrer tout en expliquant comment cela fonctionne. Cette capacité explicative est quelque chose qu'il n'avait pas anticipé.
Bien sûr, ces mondes ne sont pas créés par une « simple phrase ».
Gostev a nourri le modèle avec des documents de spécifications longs et détaillés. La plupart des cas sont réussis du premier coup, mais certains ont nécessité une ou deux itérations de réglage fin.
Le vrai tournant est que ce qui prenait auparavant des dizaines d'itérations est aujourd'hui souvent produit en un seul fichier HTML, du premier coup.
Derrière la magie, il y a aussi des lacunes
Gostev admet que ses exemples ont été filtrés. Il a généré environ 20% de plus que ce qu'il montre, éliminant ceux avec des bugs évidents, pour garder ces 63.
Le jeu est son point faible.
Il reconnaît que ces quelques scènes jouables, « on s'en lasse après 30 secondes ». Une version de l'Empire romain, il la trouve trop caricaturale.
Plus subtilement, il a l'impression que le modèle semble parfois paresseux, cachant ses capacités, qu'il faut le pousser à être plus ambitieux pour qu'il donne le meilleur de lui-même.
Lors de son lancement, Fable 5 a atteint la première place sur le classement Agent Arena d'Arena.ai avec l'avantage le plus important de l'histoire.
Arena.ai affirme que ce classement mesure la capacité réelle des modèles à accomplir des tâches dans des millions de cas pratiques.
Cette exploration ne fait que commencer
Revenons à la scène de l'ours attrapant le saumon dans la vidéo.
Ce qui étonne Karpathy, c'est qu'un tel détail - le poisson qui se débat quand il est attrapé - un détail que personne n'a demandé, comment un grand modèle formé uniquement sur internet le sait-il ?
Et comment traduit-il cette compréhension en coordonnées xyz, maillages, transformations, animations, effets, interactions, voire en micro-histoires ?
Cette question dépasse « l'IA dessine-t-elle bien » et touche à « combien comprend-elle vraiment ».
Karpathy s'émerveille également : si on ajoute encore un à trois niveaux de modèles par-dessus, ce qu'on pourra créer est vraiment inimaginable.
Gostev s'étonne aussi de la rapidité des progrès de l'IA. « Ne vous laissez pas enfermer par les modèles d'il y a six mois. Il y a sûrement quelque chose que vous faites que les modèles précédents ne pouvaient pas faire, mais que celui d'aujourd'hui peut. Essayez. »
Même ceux qui créent les modèles n'ont pas encore atteint ses limites.
Cette exploration ne fait que commencer.
Références :
https://github.com/petergpt/3d-prompt-collection#prompt-01
https://x.com/karpathy/status/2073505440479293773
https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s
Cet article provient du compte public WeChat « 新智元 », auteur : ASI启示录 ; éditeur : 元宇
