【Introducción】Fable 5 vuelve a estar en línea. Gostev de Arena.ai lanzó un vídeo mostrando 63 mundos 3D, la mayoría creados en una sola pasada. Tras ver el vídeo, incluso Karpathy, quien se unió recientemente al equipo de preentrenamiento de Anthropic, exclamó que no se lo esperaba.
Un oso se encuentra a la orilla de un río y atrapa con sus fauces un salmón que salta.
El pez se debate con fuerza en su boca.
Esta escena dejó literalmente boquiabierto a Andrej Karpathy.
Después de ver este conjunto de vídeos en 3D, escribió en un tuit:
Es increíble. No me había dado cuenta antes de que los modelos pudieran crear mundos tan ricos, impresionantes y jugables.
También acuñó un nuevo término: fablemaxxing.
Esto es hermoso, ¡es fablemaxxing de primera categoría! Con cada nuevo nivel del modelo, siempre hay algo nuevo que da un salto cualitativo y sorprende.
Karpathy se unió a Anthropic en mayo de este año, precisamente al equipo de preentrenamiento.
En junio, se lanzó Fable 5, fue detenido tres días después por las restricciones de exportación estadounidenses y se reactivó el 1 de julio. El autor del vídeo es Peter Gostev, de la plataforma de evaluación de IA Arena.ai.
Él utilizó Fable 5 para generar de una vez 63 creaciones 3D de alta dificultad, casi todas en la biblioteca de gráficos 3D (Three.js), la mayoría en una sola pasada.
Hace poco más de un mes, que una IA creara de una sola pasada un mundo 3D en el que se pudiera entrar y jugar era casi una fantasía. Ahora, Fable 5 puede generar 63 de golpe.
Por eso, Gostev no pudo evitar reflexionar en el vídeo: incluso la gente del laboratorio aún no tiene claro del todo lo que puede hacer.
1600 líneas de código, un Manhattan submarino vivo
Primero, hablemos de la más impresionante del vídeo.
Toda la isla de Manhattan está sumergida bajo el agua. Central Park, rascacielos, texturas de las calles... los detalles son increíblemente ricos.
Gostev revisó el código: 1600 líneas. Solo esas 1600 líneas sostienen una ciudad submarina viva.
Manhattan generado por Fable 5, desde Battery hasta Inwood, toda la isla a la vista, decenas de miles de edificios con sus propios contornos, todo sostenido por 1600 líneas de código. (Fuente: vídeo de Peter Gostev)
De mundos como este, Gostev hizo 63 en total, divididos en 6 grandes temas.
En el mundo 3D gigante, se construyeron Estambul extendiéndose entre dos continentes, Londres a lo largo de 2000 años de cambios, las majestuosas pirámides, la erupción del Vesubio en Pompeya, el Golden Gate Bridge con tráfico circulando;
Estambul generado por Fable 5 en una sola pasada, extendiéndose entre Europa y Asia, en capinas hacia el mar. (Fuente: vídeo de Peter Gostev)
Reino comestible generado por Fable 5, una fábrica de chocolate hecha de caramelos. (Fuente: vídeo de Peter Gostev)
Escenarios jugables: parkour en tejados de Nueva York, un patio de recreo físico donde puedes desmontar toda una ciudad, un simulador de vuelo con todos los instrumentos.
Lo más increíble es adentrarse en pinturas famosas. La noche estrellada de Van Gogh, los nenúfares de Monet, se convierten en mundos 3D por los que se puede caminar.
Otro tipo son las perspectivas imposibles: una hormiga de un milímetro de altura observando un jardín bajo la lluvia, abrir los ojos y encontrarse con una montaña de oro.
Fable 5 comprime la perspectiva a un milímetro de altura, las hojas de hierba se convierten en altas montañas. (Fuente: vídeo de Peter Gostev)
Maravillas naturales: las cataratas del Niágara, un bosque donde las luciérnagas parpadean al unísono, la escena del oso comiendo salmón que impresionó a Karpathy, entra en esta categoría.
Finalmente, elementos y el cosmos: el Mar Rojo partido, una isla volcánica naciendo, un ascensor espacial que se eleva hasta las nubes.
El Mar Rojo generado por Fable 5 se parte por la mitad, la gente camina entre dos muros de agua. (Fuente: vídeo de Peter Gostev)
En opinión de Gostev, que una escena individual sea bonita nunca ha sido lo difícil. Lo difícil es si el modelo puede gestionar simultáneamente una gran cantidad de elementos y hacer que se coordinen entre sí.
Los modelos más débiles suelen hacer bien el 80% inicial, pero el 20% final colapsa por completo, y el tiempo de depuración restante es más largo.
No puedes copiar una pintura tal cual, primero tiene que entenderla
Si construir ciudades aún sigue cierta lógica, entonces este lote de pinturas es lo que hizo que Gostev dijera "increíble" varias veces seguidas.
"La noche estrellada" de Van Gogh.
No puedes copiar tal cual una pintura así, con toda la superficie cargada de pintura espesa, pinceladas enrolladas en remolinos.
Lo que hace Fable 5 es utilizar líneas independientes para reconstruir ese cielo estrellado en el espacio tridimensional, y luego dejarte volar dentro, navegando entre los remolinos.
Fable 5 descompone "La noche estrellada" de Van Gogh en líneas tridimensionales independientes, las reensambla en el espacio 3D, y te permite volar entre estrellas giratorias y remolinos. (Fuente: vídeo de Peter Gostev)
Los nenúfares de Monet, la ola de Hokusai, también se "abren" como mundos navegables.
En opinión de Gostev, Fable esta vez es especialmente bueno explicando las cosas claramente, puede demostrar y aclarar cómo funcionan las cosas al mismo tiempo. Este poder explicativo es algo que no había anticipado.
Por supuesto, estos mundos no surgen de "una sola frase".
Lo que Gostev alimenta al modelo son documentos de especificaciones largos y detallados, la mayoría de los casos se completan en una pasada, y algunos requieren uno o dos ajustes finos.
La verdadera línea divisoria es: lo que antes requería decenas de iteraciones para pulir, ahora, un archivo HTML, la mayoría de las veces sale bien en el primer intento.
Detrás de la magia, también hay debilidades
Gostev admite que su lote de ejemplos fue seleccionado. Generó aproximadamente un 20% más de los que mostró, descartó los que tenían errores evidentes, y así quedaron estos 63.
Los juegos son su punto débil.
Admite que esos escenarios jugables, "te aburres después de 30 segundos". Hubo una versión del Imperio Romano que le pareció demasiado caricaturesca.
Lo más sutil es que siente que a veces el modelo parece holgazanear, ocultando su verdadero potencial, y hay que instarlo repetidamente a ser más ambicioso para que muestre sus verdaderas habilidades.
Cuando Fable 5 se lanzó, alcanzó el primer puesto en la lista Agent Arena de Arena.ai con la mayor ventaja de la historia.
Arena.ai afirma oficialmente que esta lista mide la capacidad real del modelo para lograr cosas en millones de tareas reales.
Esta exploración, apenas comienza
Volvamos a la escena del oso atrapando al salmón en el vídeo.
Lo que extraña a Karpathy es: el pez se debate al ser mordido, un detalle que nadie pidió, ¿cómo es que un gran modelo entrenado solo en internet sabe estas cosas?
Y sabiéndolo, ¿cómo traduce esa comprensión en coordenadas xyz, mallas, transformaciones, animaciones, efectos, interacciones, e incluso pequeñas historias?
Esta pregunta va más allá de "si la IA pinta bien o mal", y llega a "cuánto entiende realmente".
Karpathy también reflexionó: agregar uno o tres niveles más al modelo, ¿qué se podría crear? Es difícil de imaginar.
Gostev también se maravilla ante el rápido desarrollo de la IA: "No te dejes limitar por los modelos de hace seis meses. Quizás no te importe el 3D, pero seguro que tienes algo que los modelos anteriores no podían hacer y el de hoy sí puede. Pruébalo."
Incluso quienes crean los modelos aún no han alcanzado sus límites.
Esta exploración, apenas comienza.
Referencias:
https://github.com/petergpt/3d-prompt-collection#prompt-01
https://x.com/karpathy/status/2073505440479293773
https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s
Este artículo procede del WeChat Official Account "新智元" (Nueva Inteligencia), autor: ASI启示录; editor: 元宇
