El 1 de julio por la tarde, un tuit sacudió los círculos académicos de Silicon Valley.
Jelani Nelson, profesor de Ciencias de la Computación Teórica y director del departamento de Ciencias de la Computación en EECS de UC Berkeley, dejó temporalmente las llaves de su oficina y se marchó a Anthropic.
Publicó en X:
Me he unido a Anthropic y estoy de excedencia de la universidad. Es un placer trabajar con tantas personas talentosas y con propósito en la tecnología definitoria de nuestra época.
Dos breves frases cargadas de información: ya está en su puesto, conserva su plaza académica, mediante una excedencia. No mencionó ni su cargo, ni su equipo, ni su dirección de trabajo.
La biografía de Nelson en X ya se ha actualizado: 'Miembro del Equipo Técnico (Member of Technical Staff) en Anthropic', convirtiéndose así en colega de Karpathy, quien se unió en mayo.
Jelani Nelson, Director del Departamento de Ciencias de la Computación en EECS de la Universidad de California, Berkeley
El hombre que dirigía uno de los departamentos de Ciencias de la Computación más prestigiosos de EE.UU., se marcha así sin más.
Las empresas de IA llevan tres años compitiendo por talento, desde ingeniería hasta producto, desde alineación hasta multimodalidad.
Esta vez, han puesto sus manos en la cúspide de la informática teórica.
De MIT a Berkeley, el hombre que llevó el "contar" al límite óptimo mundial
El currículum de Nelson es casi la configuración perfecta estándar para un informático teórico.
En la escuela secundaria aprendió HTML por su cuenta para crear sitios web, en el instituto aprendió a programar, y durante la universidad demostró en competiciones que podía escribir código sin errores a la mayor velocidad.
Cursó licenciatura, máster y doctorado en el MIT, obteniendo su doctorado en Ciencias de la Computación en 2011, especializándose en algoritmos eficientes para datos masivos.
Describe la atracción de esta disciplina como "casi religiosa": aborda problemas fundamentales del pensamiento humano y está íntimamente relacionada con el mundo real.
Tras el doctorado, realizó estancias posdoctorales en Berkeley, la Universidad de Princeton y el Instituto de Estudios Avanzados de Princeton (IAS), incorporándose como profesor a Harvard en 2013.
En 2019, Nelson se despidió de Harvard y se trasladó al oeste, a UC Berkeley.
El periódico de Harvard expresó su pesar directamente en el titular: su partida deja un gran vacío (Big Hole) en el departamento de informática.
En Berkeley, se sintió como pez en el agua, sumergiéndose en el círculo teórico del Instituto de Computación Teórica Simons (Simons Institute).
En otoño de 2024, Nelson asumió el cargo de Director (Chair) del departamento de Ciencias de la Computación en EECS, al frente de uno de los departamentos de CS más prestigiosos del mundo.
Sus principales áreas de investigación son los algoritmos de streaming (streaming algorithms), la reducción de dimensionalidad (dimensionality reduction) y los algoritmos aleatorios (randomized algorithms).
Traducido a lenguaje llano, Nelson se centra en un mismo tipo de problema: cómo calcular cuando los datos son demasiado grandes para ser almacenados.
Hace unos años, se fijó en un problema que parece de primaria: hacer que un ordenador aprenda a contar.
Parece simple, pero cuando los números son tan grandes que ni los teléfonos ni los servidores pueden recordar "hasta dónde se había contado", el coste en almacenamiento y velocidad se dispara.
Su equipo proporcionó una fórmula matemática que demuestra la cantidad mínima de memoria que cualquier algoritmo que resuelva este problema debe utilizar.
Artículo del equipo de Nelson, que demuestra el límite inferior de memoria para el problema de conteo aproximado. https://arxiv.org/pdf/2010.02116
Los ingenieros hacen que los programas corran más rápido; Nelson demuestra lo rápido que, como máximo, puede correr un programa. Ése es el trabajo del informático teórico: establecer los límites físicos inferiores de la computación.
Las contribuciones de Nelson en el ámbito académico van mucho más allá de este "contar".
Una, junto con Kasper Green Larsen, demostró la optimalidad del lema de Johnson-Lindenstrauss (Johnson-Lindenstrauss lemma).
Ésta es una piedra angular en el campo de la reducción de dimensionalidad, cuyo límite teórico inferior él fijó. Anteriormente, junto con Daniel Kane, también propuso la transformación JL dispersa (sparse JL transform).
Otra, junto con Kane y David Woodruff, proporcionó el algoritmo asintóticamente óptimo para el problema de contar-distintos (count-distinct) (cuántos elementos distintos hay realmente en un flujo de datos).
En su opinión, incluso algo que todo el mundo sabe hacer como "contar" esconde tras de sí una solución teórica óptima.
Este trabajo le ha valido una larga lista de honores: el Sloan Research Fellowship, el Premio Presidencial para Científicos e Ingenieros en sus Primeros Años de Carrera (PECASE), entre otros.
Fuera de la academia, Nelson tiene otra faceta.
En 2011, mientras aún hacía el doctorado en el MIT, viajó a Etiopía y fundó el campamento gratuito de programación AddisCoder.
Catorce años después, casi 700 estudiantes han pasado por él, y muchos han ingresado en programas de doctorado en Harvard, MIT y Stanford.
Posteriormente, la estrella del reggae jamaicano Chronixx se acercó para donar dinero, lo que dio lugar al proyecto hermano JamCoders.
AddisCoder, el campamento gratuito de programación fundado por Nelson en 2011, ha formado a cerca de 700 estudiantes. (Fuente: sitio web de AddisCoder)
Nelson también es uno de los opositores más vehementes a la reforma del currículo de matemáticas en California, por una razón simple: su abuelo, de origen humilde, se convirtió en médico gracias a una educación pública de calidad, cambiando la trayectoria de toda la familia.
Por lo tanto, en su opinión, eliminar las matemáticas rigurosas de las escuelas públicas equivale a quitar la escalera para que la próxima generación supere su situación.
Esta labor "fuera de la academia" también le valió posteriormente el Premio Humanitario ACM Lawler.
¿Para qué quiere Anthropic a un teórico?
¿Qué relación tiene un profesor especializado en algoritmos de streaming con una empresa de modelos grandes?
Las áreas de investigación de Nelson (algoritmos de streaming, reducción de dimensionalidad, algoritmos aleatorios) estudian en realidad lo mismo: cómo procesar la mayor cantidad de datos con la mínima memoria y el mínimo cómputo.
Esto se corresponde precisamente con algunas de las cosas más costosas en el ámbito de los modelos grandes: eficiencia del entrenamiento, compresión de datos, complejidad computacional.
Tomemos como ejemplo el lema de JL, cuya última pieza completó él: responde a una pregunta tan simple que roza lo obvio: cuánto se puede comprimir un dato de alta dimensión sin perder información.
La intuición subyacente a la recuperación vectorial y la compresión de embeddings que vemos hoy en día se basa en este lema.
Entrenar un modelo de vanguardia es, en esencia, realizar compresión y selección en un flujo de datos astronómico; en el lado de la inferencia, la memoria de vídeo (VRAM), la caché, la ventana de contexto, cada aspecto se enfrenta a limitaciones de memoria y complejidad.
Y éste es precisamente el dominio de problemas en el que Nelson ha profundizado durante veinte años.
Cuando la escala de los modelos choca con los límites de la capacidad computacional y los datos, el valor de "ahorrar" comienza a superar al de "acumular". El foco de la competencia en IA está pasando de "qué modelo es más potente" a "qué algoritmo subyacente es más eficiente".
Y el conjunto de herramientas de los algoritmos de streaming y aleatorios encaja naturalmente con el problema de "aproximarse a la solución óptima con recursos limitados", lo que golpea justo la ansiedad común de todos los laboratorios de vanguardia hoy en día.
Desde esta perspectiva, que Anthropic contrate a un científico de la computación teórica se asemeja más a una puesta al día: además de modelos, ingeniería y alineación, profundizar una capa más en los cimientos teóricos.
Profesores de élite en empresas de IA: ahora está de moda no dimitir
Con respecto a su incorporación a Anthropic, las palabras exactas de Nelson fueron "taken leave from the university", excedencia de la universidad (leave of absence).
Excedencia y dimisión son dos cosas diferentes: conserva su plaza académica y puede regresar en cualquier momento.
Se trata de un sistema consolidado en el ámbito académico estadounidense, que permite a los profesores ausentarse de la universidad por un tiempo, con o sin sueldo, para ir a la industria, emprender o hacer cualquier otra cosa.
Este camino ya ha sido validado antes.
En 2017, Fei-Fei Li aprovechó un permiso académico para asumir el cargo de Vicepresidenta y Científica Jefe de IA en la Nube de Google, regresando a Stanford dos años después.
Hoy en día, la puerta giratoria entre el mundo académico y la industria gira cada vez más rápido, y la "incorporación mediante excedencia" se está convirtiendo en un modo predominante.
Para los académicos, es un billete de vuelta garantizado, especialmente cuando la industria ofrece capacidad computacional, datos y problemas reales que la academia no puede proporcionar.
Para las empresas de IA, es una vía de baja fricción para atraer talento. Y lo que es aún más rentable: contratar a un académico nunca significa contratar solo a una persona, sino también a sus estudiantes, colegas y toda su red académica.
El camino tradicional único de "obtener la titularidad (tenure) y trabajar hasta la jubilación" está siendo reemplazado por el modelo de excedencia de "tener un pie en la industria".
Para las universidades, una vez que se abre esta puerta, es difícil cerrarla.
Tras competir entre ellas, los gigantes de la IA comienzan a competir por las universidades
¿Hasta qué punto estuvo loco el mercado de talento de IA en junio pasado?
El 18 de junio, Noam Shazeer, coautor del artículo Transformer y cogestor de Gemini, anunció que dejaba Google para irse a OpenAI.
Cabe recordar que Google lo había recuperado de Character.AI en 2024 mediante una transacción de 2700 millones de dólares, y en menos de dos años, ya se había marchado de nuevo.
El 19 de junio, John Jumper, galardonado con el Premio Nobel de Química 2024 por AlphaFold, anunció oficialmente: abandona DeepMind después de casi nueve años y se une a Anthropic.
Sujeto a las cláusulas de no competencia de la alta dirección de DeepMind, es posible que no pueda incorporarse oficialmente hasta el próximo año.
El 24 de junio, Bloomberg reveló: los investigadores clave de Gemini, Jonas Adler y Alexander Pritzel, también seguirán sus pasos y se unirán a Anthropic. Ambos fueron colaboradores en el trabajo de Jumper sobre estructuras proteicas.
Las acciones de Alphabet cayeron en respuesta, y los inversores comenzaron a cuestionar públicamente si Google podía retener a su personal.
Hasta aquí, el campo de batalla seguía estando entre las empresas de IA. Pronto, las llamas de la guerra llegaron a la universidad.
El 25 de junio, Dawn Song, investigadora de seguridad de IA con 19 años de docencia en Berkeley, anunció que se unía al Laboratorio de Superinteligencia de Meta como Vicepresidenta de Investigación en IA.
El 1 de julio, Nelson.
En solo dos semanas: un premio Nobel, dos investigadores clave de Gemini, un profesor veterano y, además, un director de departamento en activo.
De ellos, Jumper, Adler, Pritzel y Nelson, los cuatro, se dirigieron a Anthropic.
El contexto de esta frenética movilidad de talento tampoco es difícil de adivinar.
OpenAI ya ha presentado en secreto la documentación para su OPV (Oferta Pública de Venta), y múltiples fuentes también apuntan a que Anthropic se acerca a su salida a bolsa. Para los investigadores de primer nivel, incorporarse ahora significa acciones previas a la salida a bolsa, algo que las grandes tecnológicas no pueden ofrecer.
Y el papel de Berkeley en esta ronda de migraciones es especialmente llamativo.
El Instituto de Computación Teórica Simons tiene su sede aquí, al igual que el departamento de EECS de primer nivel nacional: las tres líneas de teoría, sistemas de aprendizaje automático y seguridad de IA suministran talento constantemente a Anthropic, OpenAI y DeepMind.
En la ronda anterior, los gigantes de la IA competían por quienes sabían entrenar modelos; en esta ronda, compiten por quienes saben cuáles son los límites de los modelos.
Con la afluencia de académicos de élite, las empresas de IA están, de hecho, convirtiéndose en un "segundo sistema de instituciones de investigación".
Si los mejores teóricos están todos de "excedencia" en empresas, ¿qué le queda a la universidad? Nadie lo sabe.
Lo único seguro es que el foco de la competencia en IA ya ha descendido desde las capacidades del modelo hasta la capa fundamental de la teoría algorítmica.
Referencias:
https://x.com/minilek/status/2072322757908664728?s=20
https://www2.eecs.berkeley.edu/Faculty/Homepages/minilek.html
https://vcresearch.berkeley.edu/news/jelani-nelson-considers-human-thought-computer-science-tools
https://arxiv.org/pdf/2010.02116
Este artículo proviene del canal de WeChat "新智元" (New Zhiyuan), autor: ASI启示录
