¡Los 69 años son la edad perfecta para "emprender"!
Richard Sutton, fundador del aprendizaje por refuerzo y ganador del Premio Turing 2024, anunció que, junto con su estudiante Khurram Javed, ha dejado Keen Technologies, fundada por John Carmack, para crear su propia empresa: Oak Lab.
Richard Sutton puede considerarse el pionero del aprendizaje por refuerzo moderno:
Cursó su licenciatura en Psicología en Stanford, realizó su doctorado bajo la supervisión del precursor del aprendizaje por refuerzo Andrew Barto y trabajó en investigación en GTE Labs y AT&T Labs.
Propuso el algoritmo de diferencia temporal (TD) y, junto con su mentor Andrew Barto, coescribió "Reinforcement Learning: An Introduction" ("Introducción al aprendizaje por refuerzo"), el libro de texto estándar mundial en este campo.
A partir de 2003, Sutton fue profesor titular en la Universidad de Alberta durante mucho tiempo, donde fundó el laboratorio de aprendizaje por refuerzo RLAI.
Entre 2017 y 2023 trabajó como Científico Investigador Distinguido en DeepMind, liderando la creación del equipo de investigación DeepMind Edmonton.
Además, durante más de cuarenta años, Sutton ha formado a una gran cantidad de talentos punteros en la industria de la IA.
Entre ellos se encuentran David Silver, diseñador principal de AlphaGo; Doina Precup, directora de DeepMind Montreal; Michael Bowling, experto en IA para juegos; y Khurram Javed, su cofundador en esta nueva empresa.
Por lo que se desprende de sus tuits, la razón para emprender por su cuenta esta vez es sencilla:
Cree que los métodos actuales de aprendizaje profundo son endebles e ineficientes, y que lo que se necesita no son parches, sino ideas fundamentales completamente nuevas y una reconstrucción total.
Es decir, Sutton considera que las rutas actuales de IA tienen dificultades para avanzar hacia una inteligencia general de orden superior.
Y el objetivo final de Oak Lab es:
Construir un agente inteligente a escala de billones de parámetros, capaz de aprender y planificar en tiempo real, con un consumo energético total de solo 20 vatios.
20 vatios, justo el nivel de consumo del cerebro humano.
Mientras toda la industria de la IA sigue acumulando GPUs y expandiendo centros de datos, el gurú del aprendizaje por refuerzo se prepara para redefinir lo que es la inteligencia.
Separándose del "Dios de la Programación"
Para entender por qué Sutton se va, hay que saber primero de dónde viene.
El fundador de Keen Technologies, John Carmack, es el creador de "Doom" y "Quake", ex-CTO de Oculus, una leyenda en el mundo de la programación conocida como "Carmack el Genio".
En 2022 dejó Meta para dedicarse por completo a emprender en IA, también centrado en el aprendizaje por refuerzo.
Sutton se unió a Keen en septiembre de 2023, después de que Google DeepMind cerrara el laboratorio que cofundó en Edmonton, Canadá.
En ese momento, la unión de ambos era una combinación de ensueño:
Uno era una leyenda de la ingeniería de sistemas de bajo nivel, el otro el fundador de la teoría del aprendizaje por refuerzo, con el plan de crear un sistema prototipo con "indicios de vida AGI" antes de 2030.
Ahora, menos de tres años después de la colaboración, Sutton ha decidido marcharse.
Pero en su tuit dedicó la primera frase a Carmack:
No puedo elogiar lo suficiente a John Carmack y a Keen Technologies.
La implicación es clara: no se va porque Carmack no sea bueno, sino porque sus visiones sobre cómo alcanzar la meta final han divergido.
En la visión de Sutton, todo el enfoque actual del aprendizaje profundo no funciona.
Los modelos no necesitan iteraciones y ajustes interminables; toda la industria necesita urgentemente una disrupción y reconstrucción a nivel de paradigma.
¿Qué hará Oak Lab?
El núcleo de la apuesta de Sutton en este nuevo emprendimiento se puede resumir en una frase:
La inteligencia surge de la experiencia generada continuamente en tiempo de ejecución.
El modo de trabajo principal de los grandes modelos actuales consiste básicamente en gastar meses y enormes costos en un preentrenamiento offline basado en cantidades masivas de datos de texto.
Una vez finalizado el entrenamiento, los parámetros del modelo se fijan básicamente y luego se pone en funcionamiento.
Pero incluso interactuando diariamente con millones de usuarios, la gran mayoría de las conversaciones no se pueden convertir en nuevas capacidades propias.
El modelo solo puede reutilizar el conocimiento aprendido durante la fase de entrenamiento, o recordar información brevemente en el contexto del diálogo, pero no puede actualizarse a sí mismo en el proceso de percepción continua del entorno, como hacen humanos y animales.
Pero el agente inteligente que Oak Lab quiere crear es diferente.
Debe percibir el entorno, realizar acciones correspondientes y luego ajustar su comportamiento en función de los resultados.
Siempre que se genere una nueva experiencia, el proceso de aprendizaje se llevará a cabo simultáneamente, sin necesidad de intervalos largos para realizar una nueva ronda de entrenamiento concentrado.
Como dijo el propio Sutton:
Cada momento de funcionamiento de la IA debería ser un proceso de aprendizaje.
Actualmente, Oak Lab ya ha anunciado su línea de investigación central, que gira en torno a una arquitectura llamada OaK.
OaK significa Options and Knowledge (Habilidades y Conocimiento).
El propósito de esta arquitectura es permitir que el agente descubra estructuras abstractas con extensión temporal a partir de su propia experiencia, y las convierta en habilidades que puedan verificarse, planificarse y reutilizarse.
Por ejemplo, la primera vez que un robot va a la cocina a por agua, todo el proceso implica una serie de acciones: identificar la habitación, esquivar obstáculos, coger un vaso, abrir el grifo, etc.
La IA tradicional trataría todos los pasos como una única tarea de decisión.
La arquitectura OaK, en cambio, permitiría que el agente descomponga la experiencia práctica en habilidades de alto nivel como "ir a la cocina", "coger el vaso" y "llenar de agua".
Cuando se encuentre con objetivos similares en el futuro, el agente recuperará directamente las habilidades existentes y luego ajustará el plan de manera flexible según el entorno actual.
Esta forma de simplificar experiencias pasadas a lo largo de la dimensión temporal se llama abstracción temporal, permitiendo que la IA imite a los humanos al condensar una serie de acciones dispersas en habilidades maduras, y completar tareas más complejas combinando esas habilidades.
Además, la arquitectura Oak tiene otro objetivo de diseño radicalmente diferente al del aprendizaje profundo actual:
Durante la fase de aprendizaje, no se almacenan datos históricos ni se reproducen experiencias pasadas.
El aprendizaje por refuerzo profundo actual suele colocar una gran cantidad de experiencias históricas en un búfer y entrenar mediante muestreo repetido.
Oak Lab planea adoptar un método de aprendizaje en tiempo real con un tamaño de lote (batch size) de 1, actualizando inmediatamente con cada nueva experiencia obtenida.
El equipo cree que si estos algoritmos se combinan además con redes neuronales activadas por eventos, la cantidad de cálculo y el consumo energético requeridos por el sistema podrían disminuir en varios órdenes de magnitud, haciendo así factible un aprendizaje continuo y en tiempo real.
De ahí surge ese objetivo a largo plazo: billones de parámetros, aprendizaje en tiempo real, planificación en tiempo real, 20 vatios de consumo.
Por supuesto, por ahora esto es solo una concepción.
Detrás de Oak Lab hay también una piedra angular teórica: la Hipótesis del Gran Mundo (The Big World Hypothesis), propuesta conjuntamente por Sutton y Javed.
La idea central es: el mundo real siempre será más complejo que la IA. Incluso si los modelos se vuelven más potentes, la cantidad de datos del entorno exterior también aumentará exponencialmente.
Los modelos entrenados con datos organizados de antemano no pueden seguir el ritmo de los cambios en la realidad.
La IA debe aprender a recordar selectivamente lo útil, olvidar oportunamente la información obsoleta y aprender continuamente en línea para poder adaptarse al mundo real.
De la "Lección Amarga" al emprendimiento
Quienes conocen a Sutton no se sorprenderán con esta visión.
En 2019, escribió el famoso y breve ensayo "La Lección Amarga" (The Bitter Lesson) en el campo de la IA.
El artículo repasó el desarrollo del ajedrez, el Go, el reconocimiento de voz y la visión por computadora, llegando a una conclusión:
A largo plazo, los métodos generales de aprendizaje y búsqueda que pueden escalar con la cantidad de cálculo finalmente superarán a los sistemas que dependen del conocimiento manual humano.
En la era de los grandes modelos, esta ruta parece haber recibido una validación extremadamente fuerte: modelos más grandes, más datos, más potencia de cálculo, impulsan las capacidades de la IA a niveles cada vez más altos.
Pero Sutton sigue insatisfecho con el aprendizaje profundo predominante actual.
En su opinión, los sistemas actuales siguen dependiendo en gran medida de datos producidos, seleccionados y organizados por humanos.
Lo que los modelos aprenden es principalmente lo que los humanos ya han escrito, fotografiado o etiquetado en el pasado.
Un agente verdaderamente inteligente necesita generar nuevas experiencias a través de sus propias acciones y utilizar esas experiencias para perseguir objetivos a largo plazo.
Esto también explica por qué ha pasado de la "Lección Amarga" a la "Era de la Experiencia".
En 2025, junto con David Silver, figura clave de AlphaGo, propuso que la IA pasaría gradualmente de depender de datos humanos a basarse en la experiencia generada por la interacción de agentes inteligentes con el entorno.
Oak Lab es precisamente una materialización empresarial de esta propuesta de investigación.
Hace cuarenta años, cuando Sutton escribió "temporal credit assignment in reinforcement learning" (asignación de crédito temporal en el aprendizaje por refuerzo) en su tesis doctoral, el aprendizaje por refuerzo era aún una disciplina marginal.
Cuarenta años después, cuando todo el mundo persigue la ola de comercialización de los grandes modelos, él sigue preguntándose lo mismo:
¿De dónde viene realmente la inteligencia?
One More Thing
La primera parada del profesor tras emprender será Shanghái, en el WAIC (Conferencia Mundial de Inteligencia Artificial).
En el Foro de Pensadores del WAIC, Sutton ofrecerá una charla titulada "El Primer Principio del Aprendizaje por Refuerzo: Cultivando Súper-Inteligencia a partir de la Experiencia".
Enlace de referencia: https://x.com/RichardSSutton/status/2076663628301058329
Este artículo proviene del WeChat Official Account "量子位" (Quantum Bit), autor: 关注前沿科技 (Concentrarse en la tecnología de vanguardia).
