Sin más dilación, ¡comencemos con la sesión diaria de 'tumbarse y no hacer nada' (doge)!
Recién ahora, el maestro Karpathy anunció que "nosotros" en Anthropic hemos comenzado a usar una forma completamente nueva de poner a prueba los modelos grandes:
《El Señor de los Anillos》.
Según Karpathy, este "benchmark del Señor de los Anillos" está tomando el relevo de la popular prueba SVG "Pelícano montando bicicleta".
Concretamente, Karpathy lanzó directamente el comienzo de 《El Señor de los Anillos》 a Opus 5, pidiéndole al modelo que construyera todo un "Mundo de la Tierra Media" en vivo usando Three.js.
En cuanto al efecto final, se parece un poco a las animaciones 3D chinas de finales de los 90 y principios de los 2000: muy rudimentario y abstracto.
Pero objetivamente, si lo miras con atención y además estás familiarizado con Hobbiton, el lugar de rodaje de 《El Señor de los Anillos》 en Nueva Zelanda, definitivamente puedes percibir un cierto aire.
Sin embargo, este producto que parece poco refinado, le costó a Opus 5: 1 millón de tokens, 2 horas y 5500 líneas de código.
Por supuesto, en el escenario no solo brilla solitario Claude.
Lo más divertido es la nueva versión que los internautas han servido, DeepSeek V4 Flash.
Directamente un "los chinos pueden volar", todos los personajes en la imagen flotando.
Frente a estos evidentes errores actuales, Karpathy es bastante objetivo.
Señala que Opus 5 aún no puede "entrar" verdaderamente en el mundo que genera, solo puede tomar capturas de pantalla en diferentes momentos, revisando lentamente dónde surgieron los problemas.
Y esto precisamente expone una debilidad significativa de los modelos grandes actuales:
Ya pueden escribir código, construir escenarios, generar juegos, pero aún no pueden entender realmente videos, ni jugar personalmente los juegos que ellos mismos crean.
Dos horas, construyendo a mano la Tierra Media
Veamos primero cómo se hace específicamente esta prueba del "Señor de los Anillos".
Si seguimos el significado literal del tuit de Karpathy, las palabras clave principales ingresadas a Opus 5 probablemente fueron el comienzo del Capítulo 1 de 《El Señor de los Anillos》, "Una fiesta muy esperada".
Bilbo Bolsón de Bolsón Cerrado anuncia que dará una gran fiesta por su cumpleaños 111, y Hobbiton inmediatamente empieza a murmurar......
Los interesados pueden probarlo por sí mismos.
Además, Karpathy también especificó Three.js en las palabras clave, es decir, una biblioteca de JavaScript para construir escenas 3D con código.
Así, la tarea de Opus 5 es comprender primero el texto inicial de 《El Señor de los Anillos》 y luego traducirlo en un mundo 3D que pueda ejecutarse en tiempo real en un navegador.
En todo el proceso, Opus 5 necesita usar polígonos para ensamblar personajes, edificios y objetos, colocarlos uno por uno en un sistema de coordenadas x, y, z, y luego organizar la cámara, luces y animaciones.
Cuándo se mueven los personajes, hacia dónde gira la cámara, cómo cambia la iluminación, cómo deben interactuar los objetos en la escena: todo necesita ser definido por el modelo con código.
Aunque las imágenes finales no son refinadas, y a menudo presentan problemas como clipping (objetos intersectándose) o flotación, como la separación del cuerpo y la cabeza de un personaje... al menos toda la escena fue realmente construida.
Es importante señalar que esto no es lo mismo que un modelo de video que genera píxeles cuadro a cuadro.
Three.js necesita primero construir personajes, objetos y escenas como objetos tridimensionales, y luego calcular en tiempo real su posición, ángulo y estado de movimiento según el código.
Por lo tanto, el Demo que vemos no es un video generado por IA común, sino una grabación de pantalla de una escena web 3D en ejecución.
Sin embargo, Karpathy también menciona en los comentarios que 3D procedural y generación de video no son mutuamente excluyentes.
Un usuario sugirió que se podría pasar esta grabación rudimentaria de Three.js a Seedance como video de referencia, para que un modelo de video lo vuelva a renderizar con mayor calidad visual.
Karpathy rápidamente expresó su acuerdo.
Según su idea, el código procedural podría encargarse de la composición y el control, estableciendo primero el esqueleto: dónde se paran los personajes, cómo se mueve la cámara, cómo avanza la trama.
Luego, pasar la grabación a un modelo Video-to-Video para que agregue texturas, iluminación y detalles, mejorando completamente la "apariencia" del Mundo de la Tierra Media.
En cuanto al audio, Opus 5 no lo cubrió todo esta vez.
Karpathy indicó que, por sus requisitos personales de calidad de sonido, finalmente usaron ElevenLabs.
Así es como surgió el Demo de 《El Señor de los Anillos》, con imágenes, cámara y narración en off.
Karpathy ya ha hecho open source de todo el proyecto, el enlace específico se puede encontrar al final del artículo.
Los internautas son mucho más interesantes que Karpathy
Justo después de que Karpathy publicara el Demo, muchos usuarios también vinieron a probarlo.
En general, solo se puede decir:
Esta generación de internautas tiene mucha más imaginación que Karpathy.
Alguien lanzó un proyecto «Earth Online» con Claude, cuyo objetivo es, con un grupo de AI Agents, construir poco a poco todo el planeta Tierra.
Actualmente, los Agent aún no han construido todo el planeta, solo un distrito frente al mar de San Francisco con estilo low-poly. Pero, a juzgar por las imágenes existentes, las proporciones de los edificios, la escala de los personajes y el estilo general se mantienen bastante uniformes.
Este efecto se asemeja un poco a esas películas animadas de mundo Lego. El estilo artístico no es complejo, pero los personajes, escenarios y acciones pueden funcionar de manera estable en el mismo mundo.
Siguiendo esta dirección, las animaciones con estilo simple y los juegos ligeros ya muestran un germen nativo de IA.
Otro usuario construyó un modelo digital 3D de la ciudad de Nueva York usando Fable 5 y GPT-5.6 Sol, e integró datos en tiempo real.
El modelo no solo debe colocar correctamente las calles y edificios de Nueva York, sino también mantener las relaciones espaciales entre diferentes áreas. El autor también propone que este tipo de tarea de generar mundos virtuales podría convertirse en un nuevo Benchmark de razonamiento espacial.
Y hay más exageraciones.
Un usuario que no pudo conseguir boletos para el concierto de Kanye West, simplemente se organizó uno propio en el navegador usando IA.
Todo el proyecto sigue construido con Three.js. Solo un archivo HTML, sin utilizar ningún modelo 3D preexistente, el escenario, los personajes y las luces se generaron completamente con código.
Todo el concierto preparó 14 canciones, cada una con diseño de iluminación independiente y un conjunto visual de escenario esférico exclusivo.
Los usuarios comunes pueden escuchar fragmentos; después de conectar Spotify Premium, también pueden reproducir pistas completas y la presentación entera.
¡No conseguir boletos y simplemente generarte uno privado, demasiado increíble!
¡¡¡Y no es todo!!!
Karpathy al final del post original también imaginó que posteriormente se podrían agregar mecánicas de juego a estos mundos 3D, permitiendo a los jugadores entrar en ellos como espectadores, NPCs o incluso personajes de la historia.
Resulta que aún antes de que Karpathy lo planificara, los usuarios ya lo habían hecho.
Este proyecto también utiliza Opus 5 y Three.js, no solo puede ejecutarse e interactuar, sino que incluso tiene audio incluido.
También siguen apareciendo más casos de diseño 3D. Desde las proporciones arquitectónicas, la distribución espacial hasta el estilo de las escenas, Opus 5 ya puede mantener una consistencia relativa en proyectos de escala considerable.
Hay muchos ejemplos similares, aquí no los mostraremos todos.
Objetivamente, estas obras aún están lejos de ser juegos verdaderamente maduros.
Si las mecánicas de juego deslumbrantes son divertidas, si son estables durante ejecuciones prolongadas, si los jugadores estarían realmente dispuestos a permanecer allí durante 15 minutos: actualmente no hay respuestas.
Pero el umbral de creación de contenido 3D en tiempo real y prototipos jugables, sin duda, ha bajado significativamente.
Además, si hay una nueva forma de probar las capacidades de los modelos que además es lo suficientemente interesante y divertida, ¿no sería genial?
El pelícano ha llegado a su límite
Entonces, ¿por qué de repente hacer que los modelos grandes generen 《El Señor de los Anillos》?
Esto se remonta a la popular prueba del "Pelícano montando bicicleta" de hace unos años.
Este problema provino originalmente del desarrollador Simon Willison, y el requerimiento era solo una frase:
Genera una imagen SVG de un pelícano montando una bicicleta.
Aunque la tarea parece simple, en realidad pone a prueba bastante el modelo.
Porque SVG parece una imagen, pero su base es una cadena de código.
El modelo no solo necesita saber cómo es un pelícano y una bicicleta, sino también descomponerlos en líneas, círculos y polígonos, y luego usar coordenadas para organizar las relaciones posicionales de cada componente.
Lo más crucial es que un pelícano y una bicicleta no combinan bien.
El cuadro, los neumáticos y los pedales de la bicicleta deben mantener la estructura geométrica correcta; el pelícano tiene un pico grande, patas cortas y una constitución que no parece apta para pedalear.
Combinados, es casi inmediato ver si el modelo realmente comprende las relaciones espaciales:
Si las ruedas están torcidas, si los pies alcanzan los pedales, si el pájaro realmente está montando la bicicleta o si el cuadro lo ha descuartizado en el acto.
¡Mira estos demos de finales del 2024!
Precisamente por eso, "Pelícano montando bicicleta" se convirtió en una prueba clásica de observación popular para evaluar la comprensión espacial, combinación de objetos y generación de código de los modelos grandes.
Pero a medida que los modelos se vuelven más potentes, este pelícano está llegando a su límite.
Basta ver el rendimiento de DeepSeek R1 y DeepSeek V4 para saber que los modelos actuales ya pueden realizar esta tarea de manera bastante decente.
Lo más importante es que una sola SVG solo puede examinar la salida única de un modelo.
No puede medir si el modelo puede planificar un proyecto complejo, trabajar de manera continua durante horas, y revisar y corregir sus propios errores entre miles de líneas de código.
Así, Karpathy cambió una pequeña tarea de "dibujar una imagen" por un gran proyecto de "construir un mundo":
El pelícano puede bajarse, el Mundo de la Tierra Media toma oficialmente el relevo.
El pelícano de Karpathy
Rápidamente, las noticias de que Karpathy preparaba cambiar la prueba del "pelícano" también llegaron a las principales comunidades.
Los comentarios con muchos votos en Hacker News opinan que, aunque la calidad visual de estos Demos es bastante mediocre, esto precisamente demuestra que necesitamos una nueva prueba más difícil que generar una sola imagen.
El nuevo benchmark no debería solo ver si el modelo puede dibujar correctamente, sino también examinar si puede comprender un mundo.
Después de todo, "Pelícano montando bicicleta" se ha usado por mucho tiempo.
Los modelos siguen optimizándose para este tipo de tareas en los rankings, y las diferencias entre ellos son cada vez más difíciles de discernir.
En comparación, generar un mundo 3D completo requiere que el modelo comprenda las relaciones espaciales entre personajes y objetos, maneje cámara, acciones y cambios de escena, en lugar de simplemente invocar un modelo de generación de video para producir una secuencia visual.
Por supuesto, también hay quienes expresan opiniones contrarias.
La prueba del pelícano es suficientemente concisa, de bajo costo, y los resultados son fáciles de comparar.
Para probar un modelo una vez, consumir tantos Tokens generando todo un mundo 3D es un poco como lanzar fuegos artificiales con poder computacional.
Al mismo tiempo, también se cuestiona si Three.js por sí solo puede medir las capacidades integrales de los modelos grandes.
Algunos opinan que este tipo de Demo solo puede demostrar que Anthropic entrenó bien en código Three.js, no que el modelo realmente comprenda el espacio y el mundo físico.
Pero pronto un usuario refutó:
Transformar un texto literario abstracto y ambiguo en una animación 3D requiere que el modelo maneje simultáneamente relaciones espaciales, leyes físicas, objetos cotidianos, así como transformaciones 3D y problemas matemáticos de gráficos por computadora.
Si esto solo cuenta como "saber escribir Three.js", es subestimar bastante estas 5500 líneas de código.
Otro usuario planteó una pregunta más abierta:
¿El llamado "razonamiento espacial" es realmente diferente del razonamiento que los modelos grandes realizan normalmente al procesar texto y código?
Un punto de vista sostiene que la validez de una imagen depende de si el modelo comprende relaciones espaciales como "delante/detrás, dentro/fuera, cerca/lejos, oclusión", así como la distancia, ángulo y tamaño relativo de los objetos desde diferentes perspectivas.
Pero otro punto de vista sostiene que, ya sea que el modelo procese "al lado de la roca" o "dentro del array", posiblemente esté haciendo lo mismo: generar tokens uno por uno según el contexto, y completar el razonamiento en este proceso.
Si es así, entonces lo que Opus 5 demuestra no es solo una "capacidad espacial" que surgió repentinamente.
Es más probable que la capacidad de razonamiento general originalmente utilizada por los modelos de lenguaje grandes para comprender texto y código, ya haya comenzado a extenderse naturalmente al mundo tridimensional.
Desde dibujar un pelícano hasta construir un Mundo de la Tierra Media, el problema parece haber cambiado, pero lo que se prueba en el fondo quizás siempre sea la misma pregunta:
¿Puede el modelo transformar su comprensión del mundo en una estructura que realmente pueda ejecutarse?
Y al final, quizás haya una pregunta aún más extravagante:
Si los modelos grandes generales ya pueden escribir código para construir mundos 3D por sí mismos, y luego invocar APIs como Seedance, ElevenLabs para completar imagen y sonido, ¿qué necesidad real tiene el usuario de abrir personalmente un producto especializado de generación de video e ingresar un Prompt?
Referencias
[1]https://karpathy.ai/lotr-movie/
[2]https://simonwillison.net/2025/Jun/6/six-months-in-llms/
[3] https://x.com/wizardbrainz/status/2083012159341203708
[4]https://x.com/aniketjart/status/2083645765097033845
[5]https://x.com/davidfromkansas/status/2075691129899528254
[6]https://x.com/MindaugasLT/status/2083488027343470939
Este artículo proviene del WeChat público "Qubit", autor: henry
