Le 1er juillet dans l'après-midi, un tweet a fait l'effet d'une bombe dans les cercles universitaires de la Silicon Valley.
Jelani Nelson, le patron du département informatique d'EECS de UC Berkeley et professeur en informatique théorique, a temporairement déposé les clés de son bureau pour rejoindre Anthropic.
Il a publié sur X :
J'ai rejoint Anthropic et je suis en congé de l'université. Je suis ravi de travailler avec tant de personnes talentueuses et motivées sur les technologies déterminantes de notre époque.
En deux courtes phrases, la densité d'information est maximale : il est en poste, son poste académique est préservé, sous la forme d'un congé. Quant à sa fonction exacte, son équipe, sa direction, rien n'est précisé.
La biographie de Nelson sur X a été mise à jour en conséquence : Membre du personnel technique (Member of Technical Staff) chez Anthropic, devenant ainsi collègue de Karpathy qui a rejoint l'entreprise en mai.
Jelani Nelson, directeur (Chair) du département informatique d'EECS à l'Université de Californie à Berkeley
Le dirigeant d'un des départements d'informatique les plus prestigieux au monde s'en va, juste comme ça.
Pendant trois ans, les entreprises d'IA se sont disputé les talents, passant de l'ingénierie aux produits, de l'alignement au multimodal.
Cette fois, la main s'est tendue vers le sommet de l'informatique théorique.
Du MIT à Berkeley, l'homme qui a optimisé « compter » au niveau mondial
Le parcours de Nelson est presque l'archétype du spécialiste en informatique théorique.
Il a appris le HTML seul au collège pour créer des sites web, a appris la programmation au lycée, et a prouvé pendant ses études universitaires qu'il pouvait écrire le code sans bug le plus rapidement.
Il a fait toutes ses études (licence, master, doctorat) au MIT, obtenant son doctorat en informatique en 2011, spécialisé dans les algorithmes efficaces pour les données massives.
Il décrit l'attrait de cette discipline pour lui comme « presque religieux » : à la fois l'un des problèmes fondamentaux les plus centraux de la pensée humaine, et intrinsèquement lié au monde réel.
Après son doctorat, il a effectué des post-doctorats à Berkeley, à l'Université de Princeton et à l'Institute for Advanced Study (IAS) de Princeton, avant de rejoindre la faculté de Harvard en 2013.
En 2019, Nelson a quitté Harvard pour l'UC Berkeley.
Le journal de Harvard a inscrit son regret dans le titre : son départ laisse un grand vide (Big Hole) dans le département d'informatique.
À Berkeley, il s'est épanoui, plongeant dans le cercle théorique centré autour du Simons Institute for the Theory of Computing.
À l'automne 2024, Nelson a pris le poste de directeur (Chair) du département informatique d'EECS, à la tête de l'un des départements d'informatique les plus prestigieux au monde.
Ses principaux domaines de recherche sont les algorithmes de streaming (streaming algorithms), la réduction de dimension (dimensionality reduction) et les algorithmes randomisés (randomized algorithms).
En langage simple, Nelson réfléchit au même type de problème : comment calculer quand les données sont trop volumineuses pour être stockées.
Il y a quelques années, il s'est attaqué à un problème qui ressemble à un exercice d'école primaire : apprendre à un ordinateur à compter.
Cela semble simple, mais lorsque les nombres deviennent si grands que ni un téléphone ni un serveur ne peuvent se souvenir « où on en est », le coût en mémoire et en vitesse devient incontrôlable.
Son équipe a donné une formule mathématique, prouvant la quantité minimale de mémoire que tout algorithme résolvant ce problème doit utiliser.
Article de l'équipe de Nelson, prouvant la borne inférieure de mémoire pour le problème de comptage approximatif. https://arxiv.org/pdf/2010.02116
Les ingénieurs font tourner les programmes plus vite, Nelson prouve à quelle vitesse un programme peut au maximum tourner. C'est le travail du théoricien de l'informatique : fixer les limites physiques du calcul.
La contribution de Nelson au monde académique va bien au-delà du simple « comptage ».
Premièrement, avec Kasper Green Larsen, il a prouvé l'optimalité du lemme de Johnson-Lindenstrauss.
C'est une pierre angulaire dans le domaine de la réduction de dimension, dont il a fixé la borne inférieure théorique. Auparavant, avec Daniel Kane, il avait proposé la transformée JL clairsemée (sparse JL transform).
Deuxièmement, avec Kane et David Woodruff, il a donné un algorithme asymptotiquement optimal pour le problème de comptage d'éléments distincts (count-distinct) dans un flux de données.
Pour lui, même une chose aussi simple que « compter », que tout le monde sait faire, cache une solution théoriquement optimale.
Ces travaux lui ont valu une longue liste de distinctions : Sloan Research Fellowship, Presidential Early Career Award for Scientists and Engineers (PECASE), entre autres.
Au-delà de l'académique, Nelson a une autre facette.
En 2011, alors qu'il était encore doctorant au MIT, il s'est rendu en Éthiopie pour fonder AddisCoder, un camp d'été gratuit de programmation.
En quatorze ans, près de 700 étudiants en sont sortis, certains poursuivant des doctorats à Harvard, MIT, Stanford.
Plus tard, la star jamaïcaine du reggae Chronixx l'a contacté pour faire un don, donnant naissance au projet sœur JamCoders.
AddisCoder, le camp de programmation gratuit fondé par Nelson en 2011, a formé près de 700 étudiants. (Source : Site web d'AddisCoder)
Nelson est aussi l'un des opposants les plus féroces à la réforme du programme de mathématiques en Californie, pour une raison simple : son grand-père, issu d'un milieu modeste, est devenu médecin grâce à une éducation publique de qualité, changeant le destin de toute sa famille.
Ainsi, selon lui, retirer des mathématiques rigoureuses des écoles publiques, c'est retirer l'échelle qui permet à la génération suivante de s'élever.
Cette « œuvre en dehors de l'académique » lui a plus tard valu le ACM Lawler Humanitarian Impact Award.
Que veut faire Anthropic avec un théoricien ?
Quel est le lien entre un professeur spécialisé en algorithmes de streaming et une entreprise de grands modèles ?
Les domaines de recherche de Nelson (algorithmes de streaming, réduction de dimension, algorithmes randomisés) traitent en réalité de la même chose : comment traiter le plus de données avec le moins de mémoire et le moins de calcul possible.
Cela correspond précisément aux aspects les plus coûteux des grands modèles : efficacité de l'entraînement, compression des données, complexité computationnelle.
Prenez le lemme de Johnson-Lindenstrauss, dont il a complété la dernière pièce du puzzle. Il répond à une question presque triviale : dans quelle mesure peut-on compresser des données en haute dimension sans perdre d'information.
Aujourd'hui, la recherche par vecteurs et la compression d'embeddings qui sont partout, reposent intuitivement sur ce lemme.
Entraîner un modèle de pointe, c'est fondamentalement compresser et filtrer un flux de données astronomique ; du côté de l'inférence, la mémoire GPU, le cache, la longueur de contexte, tout cela se heurte à des limites de mémoire et de complexité.
Et c'est précisément le domaine dans lequel Nelson creuse depuis vingt ans.
Lorsque la taille des modèles atteint les limites du calcul et des données, la valeur de « l'économie » commence à surpasser celle du « rajout ». Le cœur de la compétition en IA passe de « quel modèle est plus puissant » à « quel algorithme sous-jacent est plus économe ».
Et la boîte à outils des algorithmes de streaming et randomisés correspond naturellement au problème de « s'approcher de la solution optimale avec des ressources limitées », ce qui touche directement l'anxiété commune à tous les laboratoires de pointe aujourd'hui.
Sous cet angle, le recrutement d'un théoricien de l'informatique par Anthropic ressemble plus à un rattrapage : au-delà des modèles, de l'ingénierie, de l'alignement, approfondir la fondation théorique d'un cran.
Les professeurs d'élite rejoignent les entreprises d'IA, maintenant la mode est de ne pas démissionner
Concernant son arrivée chez Anthropic, les mots exacts de Nelson sont « taken leave from the university », c'est-à-dire un congé (leave of absence) de l'université.
Un congé n'est pas une démission : le poste académique est préservé, un retour est possible à tout moment.
C'est un système établi dans le monde universitaire américain, permettant aux professeurs de quitter l'université, avec ou sans salaire, pour une période, pour rejoindre l'industrie, fonder une entreprise, ou faire autre chose.
Cette voie a été validée bien avant.
En 2017, Fei-Fei Li a utilisé un congé académique pour devenir vice-présidente de Google et scientifique en chef de l'IA Cloud, retournant à Stanford deux ans plus tard.
Aujourd'hui, la porte tournante entre le monde académique et l'industrie tourne de plus en plus vite, et le « recrutement en congé » devient un mode dominant.
Pour les chercheurs, c'est un billet de secours, d'autant que l'industrie offre des capacités de calcul, des données et des problèmes réels inaccessibles dans le monde académique.
Pour les entreprises d'IA, c'est un canal de recrutement à faible friction. Plus avantageux encore, recruter un chercheur, ce n'est jamais recruter une seule personne, mais aussi ses étudiants, ses pairs et tout son réseau académique.
La voie traditionnelle unique « obtenir la tenure, travailler jusqu'à la retraite » est en train d'être remplacée par le mode du congé, avec « un pied dans l'industrie ».
Pour les universités, une fois cette brèche ouverte, il est difficile de la refermer.
Après les concurrents, les géants de l'IA commencent à piller les universités
À quel point le marché des talents en IA était-il frénétique en juin dernier ?
Le 18 juin, Noam Shazeer, co-auteur de l'article Transformer et co-responsable de Gemini, a annoncé son départ de Google pour OpenAI.
Rappelons que Google l'avait racheté à Character.AI en 2024 pour 2,7 milliards de dollars, et moins de deux ans plus tard, il repart.
Le 19 juin, John Jumper, lauréat du prix Nobel de chimie 2024 pour AlphaFold, a officiellement annoncé : il quitte DeepMind après près de neuf ans de service, pour rejoindre Anthropic.
Soumis aux clauses de non-concurrence de la direction de DeepMind, il ne pourra probablement prendre son poste qu'à partir de l'année prochaine.
Le 24 juin, Bloomberg a révélé : les chercheurs clés de Gemini, Jonas Adler et Alexander Pritzel, allaient également suivre et rejoindre Anthropic. Tous deux étaient collaborateurs de Jumper sur les travaux de structure des protéines.
Le cours d'Alphabet a chuté en réponse, les investisseurs remettant publiquement en question la capacité de Google à retenir ses talents.
Jusque-là, le champ de bataille était entre les entreprises d'IA. Puis, l'incendie s'est propagé aux universités.
Le 25 juin, Dawn Song, chercheuse en sécurité de l'IA enseignante à Berkeley depuis 19 ans, a annoncé rejoindre le super-intelligence lab de Meta en tant que vice-présidente de la recherche en IA.
Le 1er juillet, Nelson.
En deux semaines seulement : un prix Nobel, deux chercheurs clés de Gemini, une professeure chevronnée, et un directeur de département en poste.
Parmi eux, Jumper, Adler, Pritzel et Nelson, tous les quatre ont rejoint Anthropic.
Le contexte de cette frénésie de mobilité n'est pas difficile à deviner.
OpenAI a déjà déposé secrètement des documents pour une introduction en bourse, et Anthropic est également, selon plusieurs sources, proche d'une introduction. Pour les chercheurs de premier plan, rejoindre maintenant signifie des actions avant l'introduction, un prix que les grands groupes ne peuvent pas offrir.
Le rôle de Berkeley dans cette migration est particulièrement frappant.
Le Simons Institute for the Theory of Computing y est situé, le département EECS de premier plan y est situé – les trois axes théoriques, systèmes d'apprentissage automatique et sécurité de l'IA alimentent continuellement Anthropic, OpenAI, DeepMind.
La précédente vague de recrutement des géants de l'IA ciblait ceux qui savent entraîner des modèles, cette vague cible ceux qui savent où sont les limites des modèles.
Avec l'afflux de chercheurs de premier plan, les entreprises d'IA sont en train de devenir un « second système d'instituts de recherche ».
Si les meilleurs théoriciens sont tous en « congé » dans des entreprises, que reste-t-il aux universités ? Personne ne le sait.
La seule certitude est que le point de mire de la compétition en IA est descendu des capacités des modèles à la couche fondamentale de la théorie des algorithmes.
Références :
https://x.com/minilek/status/2072322757908664728?s=20
https://www2.eecs.berkeley.edu/Faculty/Homepages/minilek.html
https://vcresearch.berkeley.edu/news/jelani-nelson-considers-human-thought-computer-science-tools
https://arxiv.org/pdf/2010.02116
Cet article provient du compte WeChat public « 新智元 » (New Zhi Yuan), auteur : ASI启示录
