Oye, ¿te has enterado?
A los investigadores humanos les quedan, con suerte, dos años de buena vida.
En dos años, que los humanos investiguen en IA será como jugar al ajedrez hoy en día.
Claro que podrás seguir jugando, pero a nadie le importará realmente cómo lo hagas.
Esta es la última provocadora afirmación de Jerry Tworek, exnúmero uno en modelos de razonamiento de OpenAI.
Entró en OpenAI en 2019 y estuvo allí siete años. Cuando el aprendizaje por refuerzo no escalaba por nada del mundo, fue él quien se aferró y lo impulsó a base de fuerza. Las dos grandes armas, o1 y o3, las sacó adelante liderando personalmente los equipos.
«Queremos construir AGI.» Este fue todo el mapa de ruta que Ilya dio en la reunión de toda la empresa cuando él entró en OpenAI en 2019. Siete años después, él mismo ha emprendido por su cuenta.
Lo más escalofriante es que no es él el único que lo dice. Ahora, el chiste interno más popular entre los investigadores de IA es este:
Nos quedan literalmente los últimos días de trabajo, así que aprovechemos y hagamos lo que podamos ahora, y luego jubilémonos todos y descansemos.
Todo el mundo se lo cuenta como un humor negro. Pero cada persona que cuenta el chiste lo sabe perfectamente.
Este chiste, en un 80%, es la realidad.
Y esto es solo el aperitivo. A lo largo de toda la entrevista, soltó una frase contundente tras otra:
- Los Agentes sí tienen creatividad, pero es una creatividad extremadamente deficiente y masivamente acumulada, las ideas son variopintas y también, generalmente, bastante malas.
- En todo el mundo, las personas que realmente entienden de cabo a rabo cómo entrenar y desplegar un modelo de vanguardia probablemente sean solo entre treinta y cincuenta. Todos los demás les están dando apoyo.
- Asumir que Transformer es la solución óptima es casi imposible que sea cierto.
- En los siete años que estuve en OpenAI, el número de veces que se intentó seriamente reemplazar la arquitectura subyacente fue solo de tres o cuatro.
- La premisa de que el mundo necesita que trabajemos para funcionar, simplemente no es cierta.
A continuación, la versión organizada. Disfrútala.
La mitad del trabajo, ya nadie lo hace
La cifra de dos años no tiene que ver con puntuaciones de referencia, ni con potencia de cálculo.
Lo que está contando es cuánto del trabajo de investigación sigue haciéndolo el ser humano.
Y ese trabajo ya se dividió en dos partes hace tiempo.
Una parte es tener ideas, averiguar hacia dónde ir. La otra parte es ejecutar, convertir las ideas en código que funcione y recuperar los datos.
Y la parte de ejecución, ya pertenece básicamente a los Agentes.
Tworek fundó en abril de este año una empresa llamada Core Automation, cuyo lema es construir el laboratorio de IA más automatizado del mundo.
Allí, el ciclo completo de un experimento se ha reducido directamente de un mes a un día. ¡La eficiencia se ha multiplicado por treinta!
Sin embargo, la parte de tener ideas, los Agentes de momento no pueden asumirla. La razón es:
Definitivamente son una especie altamente creativa.
Pero están malgastando esa creatividad de una manera extremadamente deficiente y masivamente acumulada. Las ideas son ciertamente variopintas, pero también, generalmente, bastante malas.
Solo treinta o cincuenta personas en el mundo
Escuchando esto, parece que la parte de tener ideas aún está segura.
Pero la verdad es que no quedan muchas personas que realmente puedan tener ideas.
En la entrevista, el presentador reveló que un investigador interno de OpenAI le había confesado:
En todo el mundo, las personas que realmente entienden de cabo a rabo cómo entrenar y desplegar un modelo de vanguardia probablemente sean solo entre treinta y cincuenta.
Todos los demás están dando apoyo a estas pocas docenas de cerebros, incluyendo a la gran mayoría de los empleados fijos de esa empresa más destacada.
Tworek no lo contradijo.
Él también cree que así funciona cualquier equipo de primer nivel. Unas pocas personas fijan el rumbo, arrastrando tras de sí toda una máquina de ejecución que ruge.
Para que sepas lo codiciadas que son estas pocas docenas de personas, basta con mirar su propia lista de contrataciones.
El cofundador de Core Automation, Rohan Anil, viene de Anthropic, y antes estuvo en Google DeepMind.
También ficharon a Anmol Gulati, que trabajó en Gemini en DeepMind. Incluso la antigua responsable de recursos humanos de OpenAI, Julia Villagra, se fue con ellos.
Todos los laboratorios están pescando en el mismo estanque. Y ese estanque solo tiene unas pocas docenas de peces.
Así que la cifra de dos años no tiene que ver con toda la humanidad.
Se refiere a cuánto tiempo más podrán aguantar estas pocas docenas de personas.
Siete años, la arquitectura solo se tocó seriamente tres o cuatro veces
Dado que solo quedan unas docenas de personas, ¿cuál es la última barrera que frena a la IA?
La respuesta de Tworek es una sola palabra: Transformer.
En su opinión, esta cosa casi con seguridad no es la solución óptima.
En primer lugar, los modelos no pueden seguir aprendiendo después del despliegue. Por mucho que hables con ellos, no se vuelven más fuertes, en la siguiente conversación seguirán siendo los mismos. La ventana de contexto tampoco aguanta. Dice que cuando usaba Codex durante unos veinte minutos, tenía que comprimirlo una vez.
En segundo lugar, si intentas compensarlo con ajustes finos continuos, descubres que no solo es extremadamente ineficiente, sino que provoca un olvido catastrófico: aprenden lo nuevo y olvidan lo viejo.
Así que la mayor parte del trabajo que ha hecho la industria en torno a Transformer estos años, en realidad ha consistido en abaratarlo, muy pocos realmente lo han hecho más fuerte.
Y lo que Tworek realmente quiere, en realidad no está en la arquitectura en sí.
Él quiere modelos que puedan seguir aprendiendo en tiempo de prueba, modelos que puedan seguir creciendo a partir de la interacción con el usuario, de los datos del usuario. Cambiar la arquitectura es solo un medio para llegar a eso.
Estas razones las entiende todo el mundo en el sector. Pero después de tantos años, ¿por qué Transformer sigue ahí, firme?
La razón detrás es tan simple que resulta ridícula: simplemente no se ha probado casi nada.
En los siete años en OpenAI, el número de veces que se intentó seriamente reemplazar la arquitectura subyacente fue solo de tres o cuatro.
El proceso es así.
El investigador primero escribe un experimento de verificación a pequeña escala, y luego lo ejecuta durante al menos tres meses. Si los resultados parecen prometedores, entonces se atreve a escalarlo.
Y lo que se llama escalar, es que tienes que convencer con tus habilidades de persuasión a unas diez personas que tienen poder de vida o muerte, y luego estas diez personas invierten de tres a seis meses en tu pozo sin fondo.
Al final, o te aplasta la inercia acumulada por Transformer, que ya ha hecho bola de nieve, o te absorbe parcialmente, convirtiéndote en un tornillo más en su cuerpo.
Siete años, tres o cuatro veces. Esta es toda la capacidad productiva en innovación arquitectónica del laboratorio de IA más fuerte del mundo.
«Jare, toma estos recursos de computación para quemarlos»
Él mismo se topó una vez con exactamente el mismo callejón sin salida en OpenAI. Y lo que lo abrió fue una frase.
En ese momento, ese lote de experimentos medio muertos había logrado mostrar algunos «signos de vida». No era para tanto, pero al menos había brotado un germen.
Justo en ese momento, Jakub Pachocki, que luego ocuparía el puesto de Científico Jefe de OpenAI, lo encontró.
«Jare, todas estas GPU son para ti, mira si puedes llevar los resultados que tienes en mano un poco más lejos, un poco más a fondo.»
«Ahora tienes estas GPU en tus manos.» Cuando repitió esta frase, o1 aún no tenía nombre.
Esta frase lo sacó de una paradoja:
Primero tienes que mostrar resultados, para tener derecho a pedir potencia de cálculo.
Pero claramente necesitas tener ese poder de cálculo primero, para poder obtener resultados.
Tworek dice que la mayoría de las direcciones de vanguardia están atrapadas en esta paradoja. Las luchas encarnizadas por conseguir potencia de cálculo en los laboratorios, en el fondo, buscan una salida.
Y la salida, a veces, es solo un poquito de confianza por parte de la dirección.
Solo hace falta que alguien de arriba diga: espero que tengas una cuota de potencia de cálculo decente para machacarlo a fondo. Con eso es suficiente.
Una vez se abre la compuerta, ya no hay vuelta atrás.
El aprendizaje por refuerzo, desde ese punto, atravesó varios órdenes de magnitud.
Luego, con la irrupción de o1, el camino de los modelos de razonamiento, que tantos habían sentenciado a muerte, fue recorrido con éxito por él.
Diez mil dólares, equivalen a un experto
Y esta vez, él ya no tiene que esperar a que nadie dé la orden.
El eslabón más caro de toda la cadena es traducir una idea abstracta en código que realmente funcione. Y eso es precisamente lo que los Agentes actuales hacen de maravilla.
Por ejemplo, Core Automation usó este enfoque para abordar el núcleo de las GPU.
Concretamente, dejaron que un Agente de programación ejecutara durante cuatro semanas un kernel de descomposición QR, quemando unos costes de llamada de aproximadamente cien mil dólares, y finalmente lograron que la velocidad de este kernel fuera sesenta veces mayor que la original.
Este trabajo pertenece a la ingeniería de rendimiento de bajo nivel, se trata de ajustar cómo se ejecuta una operación de matrices en la tarjeta gráfica para que sea más rápida, normalmente requiere que unos pocos expertos lo ajusten línea por línea a mano.
Y expertos así, en todo el mundo tampoco hay muchos.
Ahora, cien mil dólares pueden equivaler a uno. No necesita ser convencido, ni requiere de tres a seis meses.
El obstáculo que los tenía atascados durante siete años, así fue superado.
Entonces, ¿qué podremos hacer después?
Si incluso la arquitectura más difícil de cambiar se está resquebrajando, entonces el volante en manos de esas pocas docenas de personas no podrá sostenerse por mucho tiempo.
Al final de la entrevista, el presentador se lo planteó claramente y le preguntó, cuando ese día llegue realmente, qué le quedará por hacer al ser humano.
Ante esto, Tworek describió dos escenas.
La primera es la Antigua Grecia.
La gente se reúne en la plaza, habla tranquilamente de filosofía durante todo el día, luego va a hacer ejercicio, come aceitunas y bebe vino.
Él mismo se rio después de describirlo, admitiendo que probablemente solo estaba proyectando su propio deseo.
«Nos reunimos en la plaza y luego charlamos.» Sus palabras literales describiendo la vida cotidiana humana en la era post-AGI. Después de decirlo, él mismo se rió primero.
La segunda es el instituto, o la universidad.
Cree que el ser humano debería conservar una búsqueda por la «excelencia» en sí misma. Seguir aprendiendo cosas nuevas con avidez, entrenar el cuerpo y la mente al límite.
Es un poco como el deporte profesional, no hay ninguna razón económica que te obligue a sudar sangre, pero el orgullo innato del ser humano es alcanzar esa cosa llamada «grandeza».
Tenemos que encontrar varias formas de hacer esto.
Porque en el próximo mundo, ya no habrá cosas del tipo «si no lo haces, el mundo se derrumbará». El mundo seguirá funcionando por sí mismo sobre la infraestructura que ya hemos construido.
«Deberíamos seguir aprendiendo.» Habló de esto como si fuera una obligación, no un pasatiempo.
Luego, con calma, reveló su última carta.
Necesitamos trabajar para que el mundo funcione. Esta suposición, simplemente no es necesario que sea cierta.
«Mucha gente obtiene su valor propio del trabajo.» Admite que este es el obstáculo más difícil de superar, incluso para él mismo.
Él mismo también está en esa lista
Para ser honesto, después de escuchar toda la entrevista, lo que más da miedo no es la cifra de dos años.
Es que él mismo sabe que está pisando el acelerador de esa cuenta atrás.
Lo que quiere construir se define como algo que pueda aprender por sí mismo, volverse más fuerte por sí mismo, sin necesidad de que alguien esté a su lado alimentándolo. Si lo logra, los puestos de esas pocas docenas de personas desaparecerán más rápido.
Y tiene una frase aún más dura, la primera sentencia es para sí mismo.
Si no eres el laboratorio con la mayor reserva de potencia de cálculo y el mayor tamaño, lo pasarás muy mal.
Cuando dijo esto, Core Automation solo llevaba cuatro meses fundada, y sus ingresos contables eran cero.
Dice que desde que emprendió, casi cada semana alguien viene a decirle: Jare, es demasiado tarde, esa escalera al cielo ya la han retirado.
Su respuesta es solo una frase de su propio lema interno.
A la gente de nuestra empresa le encanta decir: todo es un problema de habilidad.
Traducido significa: al final, no culpes al entorno, cúlpate a ti mismo por no tener suficiente técnica.
No te voy a negar que, puesta en el contexto de esta entrevista, realmente tiene ese sabor.
Volviendo a mirar ese chiste popular del principio.
Nos quedan literalmente los últimos días de trabajo, así que aprovechemos y hagamos lo que podamos ahora.
¿El tono en que se dice es de excitación o de desolación? No podemos saberlo.
Porque para quien lo dice, esos dos sentimientos son en realidad la misma cosa.
Tworek dice que el ritmo de este campo es extremadamente agotador, después de tantos años trabajando en ello, realmente es muy, muy cansado.
«Pero si realmente creemos que este es el período más importante de toda nuestra carrera profesional.»
«Entonces probablemente, valga muchísimo la pena.»
Referencias:
https://x.com/MTSlive/status/2092387349623935322
Este artículo proviene del WeChat Official Account «新智元», autor: ASI启示录, editor: 摩西
