El mundo de la IA no escasea de chismes.
Esta vez el protagonista es Giambattista Parascandolo, un investigador clave en modelos de razonamiento de OpenAI.
En 2020, fue a una entrevista para un puesto de profesor en el MIT, donde dio una charla sobre el uso de GPT para el razonamiento. El resultado fue que la mayoría de los profesores del comité calificaron esta dirección de "absurda" (nonsense).
https://x.com/turingbook/status/2084003612687249836?s=20
Este tipo respondió directamente y escribió esta experiencia en su página personal, adjuntando la descripción de la charla de ese año y el enlace a las diapositivas.
https://sites.google.com/view/giambattista-parascandolo/home
¿De qué hablaba esa charla calificada de "absurda"?
El sitio web del MIT muestra que el tema de esta charla era cómo hacer que las redes neuronales artificiales superen la distribución de entrenamiento y adquieran capacidades de generalización y planificación más cercanas a las humanas.
Parascandolo creía que los humanos pueden recombinar conocimientos existentes, identificar invariantes clave, construir modelos abstractos y realizar planificación a largo plazo. Las redes neuronales artificiales todavía tienen un gran margen de mejora en estos aspectos.
Al final de la charla, propuso tres direcciones de investigación futura: el razonamiento abierto en redes neuronales, los grados de libertad aún no explorados en las redes neuronales artificiales, y el uso del lenguaje como vehículo de razonamiento en el aprendizaje por refuerzo para mejorar la eficiencia de las muestras.
El concepto clave entre estos es el "razonamiento abierto".
Parascandolo lo definió como: el modelo puede invertir más tiempo y computación para corregir continuamente la respuesta. Cuanto más difícil sea el problema, más pasos debería pensar el modelo, y la computación adicional debería traducirse en mejores resultados.
Esto suena muy parecido a la expansión de cómputo en tiempo de razonamiento de hoy en día.
En ese entonces, el Transformer estándar tenía una profundidad de red fija, la cantidad de cómputo hacia adelante que experimentaba cada token era básicamente fija, pero la dificultad del problema no tenía una relación estable con la longitud de la entrada. Un problema podía ser muy largo, pero la respuesta ser muy simple. Otro problema de solo una oración podía necesitar múltiples rondas de descomposición y verificación.
Las RNN parecían más adecuadas para este tipo de tareas. Podían ejecutarse repetidamente, obteniendo teóricamente un tiempo de pensamiento de longitud arbitraria. Sin embargo, la curva mostrada por Parascandolo en la PPT indicaba que las RNN generalmente solo funcionaban mejor cerca del número de pasos de razonamiento vistos durante el entrenamiento, y al continuar aumentando las iteraciones, la precisión podía incluso disminuir.
Esto significaba que aumentar la cantidad de cómputo era solo el primer paso, el modelo también tenía que aprender a utilizar ese cómputo.
En ese momento, la planificación multi-paso más efectiva dependía en gran medida de la predicción y control del modelo y de la búsqueda en árbol de Monte Carlo. La red neuronal era responsable de predecir el entorno o evaluar el valor, y un algoritmo de búsqueda externo se encargaba de expandir las trayectorias futuras. Parascandolo esperaba integrar aún más la capacidad de razonamiento de largo alcance en la red neuronal.
Su segunda idea era hacer del lenguaje el vehículo del razonamiento.
Parascandolo utilizó el juego clásico "Montezuma's Revenge" como ejemplo. Un agente de aprendizaje por refuerzo entrenado desde cero necesita probar una gran cantidad de combinaciones de estados y acciones; muchas de las operaciones correctas en sí mismas no son complejas, lo que realmente le falta al agente es el juicio sobre "qué comportamiento es más razonable".
GPT ya ha absorbido una gran cantidad de conocimiento del mundo a partir del texto. El lenguaje puede ayudar al modelo a describir el entorno, comprender los objetivos, descomponer tareas y generar planes de alto nivel, y también puede reducir drásticamente el espacio de búsqueda.
Hoy en día, este enfoque fácilmente nos hace pensar en la cadena de pensamiento (CoT), la planificación basada en lenguaje y los flujos de trabajo de agentes.
La tercera dirección propuesta por Parascandolo era que los sistemas de IA podrían reiniciar tareas, volver a cualquier estado en la memoria, construir escenarios contrafactuales, y también ajustar el tiempo, la gravedad y los resultados de observación en el simulador. El sistema incluso podría leer, copiar y modificar directamente sus propios valores de activación y pesos de red neuronal.
Esto equivale a incorporar el proceso de aprendizaje mismo en el espacio de operación del Agente. Podría realizar práctica deliberada, generar escenarios de entrenamiento especiales, transferir conocimientos existentes y reaprender a partir de trayectorias fallidas.
En la PPT de hace cinco años, casi estaba escrita la hoja de ruta de los modelos de razonamiento de hoy.
También encontramos un blog que escribió en junio de 2021, titulado "Retropropagación, evolución y el error de los 'dos perros'".
Este blog refutaba principalmente la visión de que "las redes neuronales necesitan una enorme cantidad de datos, por lo tanto no se parecen al cerebro humano".
Parascandolo creía que el hecho de que los humanos puedan aprender a reconocer perros después de ver solo unos pocos no significa que no hayan acumulado experiencia previamente. La larga evolución ha sedimentado la experiencia de los ancestros en contacto con el mundo en la estructura y los sesgos inductivos del cerebro humano.
Según esta perspectiva, el pre-entrenamiento a gran escala de las redes neuronales se puede comparar con la evolución biológica, mientras que el ajuste fino (fine-tuning) y el aprendizaje en contexto (in-context learning) se asemejan más al aprendizaje individual a lo largo de la vida. GPT-3 ha leído mucho más texto que cualquier individuo, pero su pre-entrenamiento sirvió para comprimir una enorme cantidad de experiencia y dar forma a una capacidad de aprendizaje eficiente. Por lo tanto, no se puede comparar directamente la totalidad de los datos de pre-entrenamiento del modelo con la pequeña cantidad de muestras de aprendizaje de una persona después de nacer.
Esta comprensión también implica que continuar ampliando los datos y la potencia computacional aún podría traer mejoras significativas. Él comparaba el papel que ambos desempeñan, sin afirmar que el descenso de gradiente y la evolución biológica tuvieran mecanismos específicos idénticos.
¿Quién es este tipo?
Este tipo es bastante discreto, su última publicación en X data de noviembre de 2024, cuando estaba contratando a dos ingenieros de investigación (RE) e ingenieros de software (SWE) para o1.
Según muestra su página personal, la trayectoria de investigación de Parascandolo siempre ha girado en torno a la generalización, la planificación y el razonamiento.
En 2017, comenzó su doctorado en el Instituto Max Planck de Sistemas Inteligentes y la ETH de Zúrich, bajo la supervisión de Bernhard Schölkopf y Thomas Hofmann. Su tesis doctoral se centró en la generalización OOD en el aprendizaje profundo.
Durante su doctorado, realizó prácticas en Google X en Mountain View y en DeepMind en Londres. En el primero participó en investigación sobre diseño automatizado en simuladores a gran escala, y en el segundo en investigación sobre búsqueda en árbol de Monte Carlo por divide y vencerás.
Se doctoró en septiembre de 2021 y se unió directamente a OpenAI. Inicialmente entró en el equipo de aprendizaje por refuerzo liderado por John Schulman, luego pasó al equipo de algoritmos donde estaba Mark Chen, y posteriormente se unió al equipo 🍓 (fresa) liderado por Jerry Tworek. El equipo fresa era el nombre interno del proyecto o1.
En 2023, participó en el desarrollo de GPT-4 y formó un nuevo equipo para continuar investigando el razonamiento. Más tarde, participó en la investigación fundamental de OpenAI o1 y o3, impulsando la expansión del modelado de recompensas, la construcción de entornos y los algoritmos de razonamiento general. Parte de la descripción de estos algoritmos aún la mantiene oculta con bloques negros.
En esa entrevista de 2020, Parascandolo no consiguió el puesto de profesor en el MIT. Se fue a OpenAI.
Cuatro años después, ayudó a construir o1.
La vida siempre es fascinante.
Enlaces de referencia:
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179
Este artículo proviene del WeChat público "机器之心" (ID:almosthuman2014), autor: Yang Wen
