Ilya, ex científico jefe de OpenAI, es el típico representante de la frase: "Ya no estoy en el mundo, pero el mundo está lleno de mis leyendas".
Quien forjó personalmente la era del aprendizaje profundo, lleva ya más de dos años fuera de OpenAI. La SSI que fundó no publica modelos, no crea productos, prácticamente ha desaparecido de la mesa de juego.
Pero cada cierto tiempo, alguien en el círculo de la IA sigue haciendo la misma pregunta: ¿Qué está haciendo Ilya?
Ahora, de repente, esta pregunta parece tener una respuesta.
Hace un momento, el usuario de X "Three Strawberries" reveló que SSI está explorando un pequeño motor de inferencia basado en TTT (Test-Time Training, Entrenamiento en Tiempo de Prueba).
Según su descripción, este modelo aprendería a "aprender a aprender" con datos específicamente preparados, y luego actualizaría parcialmente sus pesos durante el proceso de resolución de problemas.
Incluso si el modelo no es muy grande, sería suficiente para competir con modelos entrenados a mayor escala.
Yendo más allá, en los comentarios también dijo que la versión actual de SSI ya está lista, y que el equipo está escalando directamente la próxima versión 10 veces en tamaño.
Y lo que es aún más crucial, esto podría no ser un cheque en blanco de un "futuro prometedor".
Según su declaración, la versión actual podría salir a la luz tan pronto como este mes de agosto, y se abrirá inicialmente a un pequeño número de usuarios.
Es decir, si el rumor es cierto. La primera espada que SSI ha mantenido oculta durante dos años, podría realmente desenvainarse.
Tras la noticia, muchos usuarios ya han olido un cambio de rumbo.
Algunos exclamaron: "¡Esto sí empieza a parecer inteligencia real!";
Otros juzgaron que, siempre que esta ruta pueda escalarse sin problemas, a otras compañías les resultará muy difícil alcanzar a SSI.
Pero justo cuando la gente se preparaba para recibir el "regreso triunfal de Ilya", llegaron noticias de que:
Puede que este mes tampoco se lance.
¿Real o falso? ¿Falso o real?
Esta vez, ¿Ilya desenvainará su espada o no?
Una espada que cambia su ataque al desenvainar
Honestamente, desde que Ilya dejó OpenAI para emprender por su cuenta, los rumores sobre SSI han sido innumerables.
Algunos han cuestionado la verdadera contribución de Ilya en la historia del aprendizaje profundo, afirmando que el verdadero padre de GPT es en realidad Alec Radford;
Otros dicen que, al igual que Liang Wenfeng, se ha dedicado a investigar la cuantización.
Pero esta revelación ha explotado rápidamente, y no solo porque las tres letras "Ilya" llevan tráfico incorporado.
Sino porque realmente coincide con varias pistas ya públicas. Tras analizarlo, hay al menos tres:
Primera, el aprendizaje continuo tras el despliegue, que coincide mucho con la opinión que Ilya expresó en el podcast de Dwarkesh Patel en noviembre pasado.
En aquel entonces, Ilya dijo: Las palabras "AGI" y "preentrenamiento" han llevado a la industria por mal camino.
Porque los humanos no nacemos con una inteligencia general que domina todos los trabajos; lo que realmente nos permite funcionar es el aprendizaje continuo.
La superinteligencia que él imagina se parece más a un adolescente de 15 años extremadamente inteligente y con sed de conocimiento.
No sabe mucho, pero puede aprender programación, medicina y varios trabajos después de desplegarse, creciendo a través de prueba y error.
Según Ilya, SSI no busca construir una máquina que lo sepa todo al salir de fábrica (al finalizar el preentrenamiento), sino una mente capaz de aprender cualquier trabajo.
Este objetivo tiene un claro matiz de metaaprendizaje: lo que el modelo necesita dominar no es solo una habilidad específica, sino también el método para aprender nuevas habilidades.
Aunque Ilya no mencionó el TTT en ese momento, ambos puntos apuntan al mismo problema:
¿Puede el modelo seguir cambiándose a sí mismo después de desplegarse?
La segunda pista proviene de NVIDIA.
El 27 de julio de este año, NVIDIA y SSI anunciaron una colaboración estratégica a largo plazo, al mismo tiempo que invertían en SSI y le proporcionaban el próximo sistema Vera Rubin.
La capacidad de cómputo de SSI aumentará un orden de magnitud, es decir, aproximadamente 10 veces, y según informes de Reuters, el monto de la inversión asciende a 50 mil millones de dólares.
La clave es que ni el dinero ni las GPU son la parte más importante.
NVIDIA escribió específicamente en el anuncio que SSI ha estado avanzando silenciosamente en una nueva línea de investigación durante los últimos dos años.
Tras tener acceso poco común a esta investigación altamente secreta, NVIDIA decidió impulsarla a la siguiente fase.
En otras palabras, Jensen Huang ha visto las cartas. En cuanto a cuáles son, no lo dijo.
La declaración del propio Ilya también es reveladora: ¡Es hora de escalar SSI!
Entonces... este escalado es bastante sugerente.
Ilya, ¿qué es lo que ven esos ojos tuyos?
La tercera pista son los avances del propio TTT en los últimos dos años.
Recientemente, cada vez más investigadores están intentando ir más allá de la ruta de "expandir continuamente el contexto", buscando un paradigma más cercano al aprendizaje continuo.
La razón es simple. Porque los humanos no aprendemos haciendo nuestras chuletas cada vez más largas, ni nos tatuamos cada cosa que nos pasa como el protagonista de *Memento*.
Después de experimentar algo, el cerebro ajusta sus conexiones internas. La próxima vez que se enfrente a un problema similar, la persona ya no es la misma que antes. Este es el verdadero interés de la ruta del TTT.
En pocas palabras, el TTT (Test-Time Training, Entrenamiento en Tiempo de Prueba) permite que el modelo no separe radicalmente el "entrenamiento" y la "inferencia", sino que continúe entrenándose con los datos a los que se enfrenta mientras resuelve problemas reales, ajustando su estado interno e incluso actualizando directamente parte de sus parámetros basándose en el error entre la predicción y el objetivo.
En la revelación, "Three Strawberries" también mencionó específicamente un artículo de investigación relacionado:
End-to-End Test-Time Training for Long Context.
En resumen, este artículo reinterpreta el problema del contexto largo como un problema de aprendizaje continuo.
Los modelos tradicionales de contexto largo guardan el texto anterior en una ventana de contexto, y luego buscan la información necesaria cada vez que generan contenido nuevo.
El TTT-E2E propuesto en el artículo trata todo el contexto como datos de entrenamiento, permitiendo que el modelo continúe prediciendo el siguiente token durante el proceso de lectura, e incorporando la información leída en sus propios pesos.
Así, el contexto deja de ser simplemente una chuleta para consultar en cualquier momento, y comienza a convertirse en material de aprendizaje que realmente cambia el modelo en sí.
Y vale la pena añadir que el TTT es fundamentalmente diferente de los recientes y explosivos Agent Harness y Context Engineering.
Los dos últimos dependen de contextos externos para construir andamiajes, permitiendo que el modelo vea más información y utilice más herramientas, pero el modelo en sí no cambia.
El TTT va un paso más allá: no solo permite que el modelo vea más y utilice más, sino que permite que el modelo se cambie a sí mismo directamente durante el proceso de resolución de problemas.
Entonces, volviendo a la pregunta:
Si el TTT no es algo nuevo y es tan poderoso, ¿por qué no se ha utilizado antes? La razón no es difícil de adivinar:
Porque una vez que el modelo puede modificarse a sí mismo después del despliegue, podría aprender mal, desviarse o incluso olvidar sus capacidades originales.
En 2016, el chatbot Tay de Microsoft fue retirado de emergencia en menos de 24 horas después de que usuarios lo indujeran a producir contenido ofensivo.
Tay y el TTT no son la misma tecnología, pero expusieron muy pronto el mismo desafío:
Seguridad.
Por eso, naturalmente, un usuario planteó esta pregunta, y "Three Strawberries" respondió que Ilya ya lo había resuelto.
Por supuesto, esta afirmación está lejos de ser una prueba, e incluso parece un rumor fugaz del mundo.
Pero precisamente, nos devuelve a la S en el nombre de SSI (Safe Superintelligence):
Seguro.
Si Ilya realmente quiere construir una superinteligencia que siga creciendo después de desplegarse, entonces "enseñarle a aprender" solo resuelve la mitad del problema.
La otra mitad, que es incluso más difícil, es: enseñarle qué no debe aprender.
Por qué todos lo están esperando
Llegados a este punto, queda una última pregunta:
¿Por qué una revelación anónima cuya veracidad ni siquiera se puede confirmar emociona a tanta gente?
Solo porque la persona detrás de esa puerta es Ilya Sutskever.
Es cofundador de OpenAI, ex científico jefe, y uno de los investigadores más influyentes en aprendizaje profundo de la última década.
Desde AlexNet, Sequence-to-Sequence, AlphaGo hasta la serie GPT, se puede ver su nombre.
NVIDIA también mencionó específicamente en el anuncio de colaboración que Ilya posteriormente dirigió la investigación que finalmente condujo a los modelos de razonamiento de OpenAI como el o1.
En otras palabras, lo más impresionante de él nunca ha sido la cantidad de modelos que publica.
Sino que, en su carrera, varias veces, antes de que una ruta técnica se convirtiera en consenso, él ya estaba parado en ese camino.
Precisamente por eso, después de dejar OpenAI en mayo de 2024, el próximo paso de Ilya ha sido uno de los mayores misterios en el círculo de la IA.
Y SSI, fundada un mes después de su partida, llevó el misterio inscrito en sus huesos.
Aparte de su objetivo, superinteligencia segura, en los siguientes dos años, SSI no publicó modelos, no creó productos, no compartió artículos, e incluso el exterior no sabía exactamente en qué investigaban.
Incluso cuando Ilya aparecía ocasionalmente, solo hablaba repetidamente sobre generalización, aprendizaje continuo, y que la era del preentrenamiento podría estar llegando a su fin.
No fue hasta julio de este año, cuando NVIDIA, después de ver la investigación altamente secreta de SSI, decidió apostar más fuerte y ayudarlos a aumentar su capacidad de cómputo en un orden de magnitud, que SSI volvió a la vista pública.
Así, al ver la revelación de hoy sobre el TTT, el sabor es diferente.
Ilya siempre ha dicho que una verdadera superinteligencia debería poder seguir aprendiendo después de desplegarse;
Ahora alguien revela que SSI está trabajando en un modelo que sigue actualizándose a sí mismo durante el proceso de inferencia.
Por supuesto, aún no hay pruebas irrefutables. Pero si estas dos líneas realmente coinciden algún día:
Entonces lo que Ilya ha estado puliendo en su reclusión de dos años, podría no ser simplemente un GPT más grande.
Sino una espada que, al desenvainarse, cambia su propio ataque.
¡Prepárense!
Enlaces de referencia[1]https://x.com/i/trending/2087551605553901958[2]https://www.youtube.com/watch?v=aR20FWCCjAs
Este artículo proviene del WeChat public account "Qubit", autor: Focus on Frontier Technology
