En una entrevista reciente, Altman hizo una evaluación inusual:
"Podría ser el investigador más importante y menos conocido en la historia de la IA."
Esta persona es Alec Radford, el verdadero padre de GPT.
Quizás no hayas oído hablar de él, pero es muy probable que hayas usado algo que inventó.
Fue el primer autor en los artículos de GPT-1, GPT-2, CLIP y Whisper.
Además, participó en una serie de trabajos clave como GPT-3, DALL·E, Scaling Law, GPT-4 y GPT-4o.
Es extraño que alguien con un historial que abarca casi todos los giros clave de los modelos grandes, no tenga un doctorado y rara vez dé entrevistas.
Cuando ChatGPT se hizo famoso en todo el mundo, apenas se le veía en los focos.
Pero si repasamos los artículos de IA de la última década, encontramos un fenómeno aún más extraño:
Cuando un modelo comienza a adquirir una capacidad general que antes no tenía, el nombre de Alec Radford, a menudo, ya aparecía antes en la lista de autores.
El verdadero despegue de OpenAI comenzó con la contratación de Alec
En el último episodio del programa "Invest Like The Best", el presentador le preguntó a Altman:
"En el camino de esta empresa, ¿a quién admiras más entre los héroes anónimos?"
Altman respondió sin dudar: Alec Radford.
El trabajo de Alec fue lo que realmente evolucionó hacia la serie GPT.
Además, continuamente inspiró y guió a las personas a su alrededor, impulsando la investigación hacia direcciones que luego demostraron ser extremadamente importantes.
"Wired" también dio un juicio de gran peso:
El camino hacia el ascenso de OpenAI realmente comenzó cuando contrató a Alec Radford, que entonces era desconocido.
En 2016, Alec se unió a OpenAI. Tenía solo 23 años.
En ese entonces, era un joven que comía pizza de piña y cebolla a medianoche, participaba en competiciones de Kaggle con sus compañeros y había fundado una pequeña empresa de IA en un dormitorio de Boston: Indico.
Después de aceptar la invitación para unirse a OpenAI, Alec no lo consideró muy importante; más bien, sintió que el trabajo "era un poco como hacer un posgrado".
Sin mucha presión a corto plazo y sin un producto que tuviera que lanzarse inmediatamente. Podía buscar libremente una pregunta cuya respuesta nadie conocía entonces: ¿Qué puede hacer realmente un modelo de lenguaje?
Su primer intento fue entrenar un modelo de lenguaje con 2 mil millones de comentarios de Reddit. La escala de datos era grande, pero los resultados no fueron muy útiles.
Este experimento, como muchas de las primeras exploraciones de OpenAI, fracasó.
Pero OpenAI lo dejó continuar. El entonces CTO, Greg Brockman, recordó:
"En ese momento pensamos: Alec es brillante, déjalo hacer lo que quiera."
Así, este joven pudo seguir con sus experimentos. Pero pronto, se vio limitado por la insuficiencia de potencia computacional de OpenAI.
Como no podía ejecutar experimentos más grandes, Alec redujo el alcance. Tomó alrededor de 100 millones de reseñas de productos de Amazon y le pidió al modelo que hiciera algo tan simple que casi resultaba aburrido: predecir el siguiente carácter basándose en el texto anterior.
Durante este proceso, ocurrió algo inesperado.
Aunque nadie le enseñó al modelo qué era una buena o mala reseña, una neurona dentro del modelo comenzó a distinguir activamente el sentimiento positivo o negativo de los comentarios.
Si se ajustaba en una dirección, el modelo generaba más fácilmente reseñas positivas; ajustada en la otra dirección, comenzaba a quejarse del producto.
OpenAI luego lo llamó "neurona de sentimiento no supervisada".
Este experimento dio por primera vez la respuesta que Alec realmente buscaba:
Cuando se le pide a un modelo que complete una tarea de predicción con suficientes datos, puede aprender por sí mismo algunas capacidades que nunca se especificaron explícitamente en el objetivo de entrenamiento.
Ilya Sutskever incluso lo alentó a salir de las reseñas de Amazon y hacer que el modelo aprendiera textos más extensos y diversos, incluso toda la web.
El problema era que, con la arquitectura de redes neuronales de entonces, procesar tal cantidad de datos podía llevar años.
Pero pronto, OpenAI tuvo suerte. Porque en 2017, apareció el artículo de Google que reescribió el curso de la IA: "Attention Is All You Need".
Ilya reconoció inmediatamente el valor de la arquitectura Transformer. Su primera reacción fue: "¡Esto es exactamente lo que estábamos esperando!"
Alec conectó rápidamente el Transformer a su línea experimental anterior. Tomó el conjunto de datos BooksCorpus, que incluía más de 7000 libros en inglés no publicados oficialmente, abarcando géneros como romance, aventura y fantasía.
A diferencia de muchos conjuntos de datos donde las oraciones están fragmentadas, los libros conservan narrativas largas y continuas, más adecuadas para que el modelo aprenda relaciones de larga distancia entre contextos.
No usó el Transformer para traducción automática como Google, sino para predecir la siguiente palabra más probable.
La máquina reaccionó: una palabra, luego otra, y otra más, cada nueva palabra inferida a partir de los patrones ocultos en esos siete mil libros.
Para Alec, "el progreso en estas dos semanas fue mayor que en los dos años anteriores juntos". Este experimento se convirtió finalmente en la base del preentrenamiento de GPT-1.
Él y sus colegas comenzaron a hablar de una dirección llamada "Big Transformer": no diseñar más reglas elaboradas para el modelo, simplemente aumentar la escala del modelo, los datos y la computación, y ver qué más podía aprender.
En 2018, esta línea recibió un nombre formal:
Generative Pre-trained Transformer (Transformador Generativo Preentrenado), abreviado como GPT.
El primer artículo de GPT tuvo cuatro autores, y el primero en la lista fue Alec Radford.
GPT-1 no conmocionó al mundo de inmediato, pero le dio a OpenAI algo aún más importante: una dirección.
Después del avance de Alec, la gerencia de OpenAI tomó una serie de decisiones clave. Comenzaron a concentrar los recursos de investigación, que estaban dispersos en proyectos como robótica, en los modelos de lenguaje.
En lugar de seguir diseñando nuevas estructuras complejas, el equipo prefirió recopilar más datos, invertir más potencia computacional y ampliar los métodos que ya mostraban potencial.
Un año después, se lanzó GPT-2.
Sus parámetros aumentaron de 117 millones en GPT-1 a 1500 millones, y los datos de entrenamiento se expandieron de más de 7000 libros a aproximadamente 8 millones de páginas web.
El artículo de GPT-2 tuvo 6 autores, y Alec seguía siendo el primero, compartiendo la primera autoría con Jeffrey Wu.
Esta vez, el modelo ya no necesitaba ser reentrenado para cada tarea. Solo prediciendo la siguiente palabra, ya podía intentar traducir, responder preguntas y resumir, e incluso obtener buenos resultados en múltiples pruebas de zero-shot.
A principios de 2020, OpenAI formalizó esta relación en el artículo "Scaling Laws for Neural Language Models".
Alec también estaba entre los 10 autores. Los juicios acumulados previamente a través de experimentos sucesivos comenzaron a describirse como leyes matemáticas predecibles.
En mayo del mismo año, OpenAI amplió aún más el modelo a 175 mil millones de parámetros, creando GPT-3.
Para entonces, los autores del artículo habían aumentado de 4 en GPT-1 a 31.
El primer autor era ahora Tom Brown, y Alec ocupaba el puesto 29, justo antes de Ilya Sutskever y Dario Amodei.
El cambio en la posición de la firma también insinuaba una transformación en la naturaleza del proyecto GPT.
Ya no era un experimento de pocas personas dirigido por Alec, sino un gran proyecto que movilizaba investigación, ingeniería y potencia computacional en toda OpenAI.
La línea que Alec impulsó desde el principio se había convertido en la estrategia técnica más importante de la compañía.
Pero justo cuando GPT comenzaba a ser conocido por el mundo exterior y estaba a punto de tener un impacto enorme, Alec ya había desviado su mirada hacia otro lugar.
Fuera del lenguaje, también acertó consecutivamente en imagen y audio
Después del lanzamiento de GPT-3, Alec regresó a su especialidad original: las imágenes.
Incluso antes de unirse a OpenAI, su trabajo más influyente fue DCGAN.
Junto con Luke Metz y Soumith Chintala, introdujeron redes convolucionales en GAN, resolviendo el problema de la dificultad para entrenar estos modelos de manera estable.
También descubrieron que cuando el modelo aprendía a generar imágenes de dormitorios, formaba por sí mismo representaciones visuales sobre camas, ventanas y la estructura de la escena.
La intuición que reaparecería más tarde en la investigación de Alec ya comenzaba a perfilarse:
Si se encuentra una tarea de entrenamiento lo suficientemente general, el modelo puede aprender por sí mismo más capacidades en el proceso de completarla.
Por cierto, hay un pequeño chisme en el medio.
En 2016, Jensen Huang mostró imágenes generadas por DCGAN en una conferencia de Nvidia, pero atribuyó el mérito principal al laboratorio de Facebook dirigido entonces por Yann LeCun.
Alec y varios compañeros vieron la transmisión en vivo desde la oficina de Boston y se sintieron muy heridos.
Poco después, Alec dejó Boston y se unió a OpenAI.
Su amigo Victoroff incluso cree que este ser ignorado fue una de las razones importantes por las que Alec decidió ir a OpenAI.
Años después, regresó a las imágenes con GPT.
En 2020, OpenAI publicó Image GPT: desplegar una imagen como una secuencia de píxeles y luego predecir el siguiente píxel, como predecir la siguiente palabra.
Alec ocupó el segundo lugar en la lista de autores del artículo.
Demostró que GPT no pertenecía naturalmente al lenguaje. Siempre que los datos pudieran representarse como una secuencia, el mismo método también podía usarse para aprender imágenes.
Pero generar píxeles uno por uno era demasiado lento. Medio año después, DALL·E comprimió las imágenes en tokens visuales y luego colocó texto e imágenes en la misma secuencia Transformer.
"Sillón con forma de aguacate", "bebé zanahoria paseando un perro", estas combinaciones que nunca existieron fueron dibujadas por primera vez por el modelo.
Publicado el mismo día que DALL·E, estaba CLIP.
Esta vez, Alec volvió a la posición de primer autor compartido.
OpenAI tomó 400 millones de pares de imágenes y texto recopilados de Internet y le pidió al modelo que hiciera solo una pregunta de opción múltiple: ¿qué texto coincide con qué imagen?
Sin categorías fijas, sin entrenamiento especializado para cada tarea.
Finalmente, CLIP, sin usar el conjunto de entrenamiento ImageNet, logró una precisión de reconocimiento zero-shot comparable a la de ResNet-50 entrenada de manera supervisada en sus primeras etapas.
Además de las imágenes, también experimentó con el sonido.
El Jukebox de 2020 comprimía el audio en códigos discretos y luego hacía que Transformer generara música como generaba texto.
Dos años después, la misma línea condujo al más práctico Whisper.
Alec volvió a ocupar el primer lugar en la lista de autores del artículo.
OpenAI recopiló 680,000 horas de audio y sus transcripciones de Internet. Los datos no eran perfectos, pero contenían diferentes idiomas, acentos, ruidos y contextos de uso.
Whisper no estaba optimizado específicamente para una lista en particular, pero cuando se probó en zero-shot en múltiples conjuntos de datos de diferentes fuentes, se comportó de manera más robusta, pudiendo manejar mejor acentos, ruido de fondo y vocabulario especializado del mundo real.
Superficialmente, estos trabajos abarcan imágenes, lenguaje, multimodalidad y voz, pero en el fondo provienen del mismo juicio de Alec:
Establecer menos reglas, proporcionar más datos y potencia computacional, y la capacidad general puede surgir por sí sola.
Parece que siempre puede encontrar, un paso antes del consenso de la industria, la siguiente tarea simple que vale la pena amplificar.
El hombre más misterioso de OpenAI
El glorioso pasado de esta eminencia es innumerable, y la introducción termina aquí.
Volviendo a su persona, casi se puede decir que "fue" el hombre más misterioso de OpenAI.
En comparación con la influencia de sus artículos, Alec casi no cultiva su marca personal.
Aunque tiene una cuenta en X con 70,000 seguidores, rara vez publica cosas sobre sí mismo, principalmente comparte publicaciones de otros.
Lo que tiene fijado en la parte superior sigue siendo el mensaje de cuando se lanzó GPT-1 en 2018.
"Esto es en lo que he estado trabajando durante el año pasado."
Primero enumeró tres fuentes de inspiración: CoVe, ELMo y ULMFiT, y luego presentó los resultados con una frase bastante simple:
"Un modelo de lenguaje Transformer que, con solo un pequeño ajuste, puede transferirse a varias tareas de procesamiento de lenguaje natural."
¿Quién hubiera pensado que este trabajo anunciaría una era completamente nueva?
Las entrevistas públicas extensas sobre Alec son muy escasas; y su sitio web personal es tan simple que está casi en blanco.
Solo nombre, "Latest Posts" y botones de paginación, casi sin otro contenido.
(Incluso usa la misma foto todo el tiempo, el tipo es demasiado discreto)
Esto crea un contraste extraño con su posición en la industria.
El público, al hablar de OpenAI y GPT, piensa primero en Altman e Ilya Sutskever; pero los investigadores, al hablar de los artículos clave de la última década, difícilmente pueden evitar mencionar a Alec Radford.
Altman describió en su última entrevista que si le preguntas a quienes han trabajado con Alec, por supuesto dirán primero:
Este es un "genio que aparece una vez cada varias décadas", un pensador extremadamente creativo con una comprensión profunda de su propia investigación.
Pero antes de terminar de hablar, cada uno agregará otra frase:
Él es también una de las personas más amables y mejores con las que han colaborado.
One More Thing
Sin embargo, este padre de GPT con evaluaciones tan altas, en investigación científica, realmente no sigue el camino habitual...
En diciembre de 2024, Alec dejó OpenAI después de casi nueve años de trabajo para dedicarse a la investigación independiente.
Pero cuando todos esperaban que creara el próximo GPT...
Alec se fue a crear una "IA vieja".
En abril de este año, él, junto con Nick Levine y David Duvenaud, lanzaron Talkie.
Es un "modelo de lenguaje antiguo" con 13 mil millones de parámetros, cuyo modelo base se entrenó con 260 mil millones de tokens.
Su corpus de preentrenamiento tiene una regla estricta:
¡No se permite el ingreso de material en inglés publicado después del 1 de enero de 1931!
Por lo tanto, ha leído sobre máquinas de vapor, aviones y la Primera Guerra Mundial, pero no sabe qué pasó después con la televisión, Internet y la Segunda Guerra Mundial.
Y mucho menos Python.
Pero con esta antigüedad, los investigadores le mostraron algunos ejemplos de programas en Python y luego le pidieron que resolviera problemas de programación de HumanEval.
Realmente escribió algunos fragmentos de código simples.
Este experimento realmente prueba: ¿con qué rapidez un modelo de lenguaje base que nunca ha estado expuesto a computadoras modernas puede absorber una habilidad completamente nueva después de obtener algunos ejemplos nuevos y entrenamiento posterior?
¿Qué? ¿Estás diciendo que mientras toda la red todavía está escalando frenéticamente, tratando de hacer que los modelos lean más...
¿El padre de GPT le "cortó la conexión" durante casi cien años?
Si el modelo no ha visto la respuesta y aún puede aprender y usar al instante, ¿depende de la memoria o del aprendizaje?
Tampoco se sabe en qué está apostando realmente el tipo esta vez...
Pero según su costumbre, cuando el mundo exterior finalmente entienda esta pregunta, es muy probable que él ya esté trabajando en la siguiente~
Enlaces de referencia:
[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20
[2]https://www.wired.com/story/what-openai-really-wants/
[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/
[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
Este artículo proviene de la cuenta pública de WeChat "Quantum Bit", autor: Atención a la tecnología de vanguardia
