Dans une récente interview, Sam Altman a donné un jugement rare :
« Il est peut-être le chercheur le plus important, et pourtant le moins connu, de l'histoire de l'IA. »
Cette personne est Alec Radford, le véritable père du GPT.
Vous n'avez peut-être jamais entendu parler de lui, mais vous avez probablement utilisé ses inventions.
Il est le premier auteur des articles sur GPT-1, GPT-2, CLIP et Whisper.
De plus, il a participé à une série de travaux clés comme GPT-3, DALL·E, les lois d'échelle (Scaling Law), GPT-4 et GPT-4o.
Il est étrange qu'une personne dont le parcours couvre presque tous les tournants majeurs des grands modèles n'ait pas de doctorat et accorde rarement des interviews.
Lorsque ChatGPT a conquis le monde, il restait presque invisible sous les projecteurs.
Mais si l'on feuillette les articles d'IA des dix dernières années, on découvre un phénomène encore plus étrange :
Chaque fois qu'un modèle commence à acquérir une capacité générale qu'il ne possédait pas auparavant, le nom d'Alec Radford apparaît souvent déjà dans la liste des auteurs.
Le véritable décollage d'OpenAI a commencé avec le recrutement d'Alec
Dans le dernier épisode du podcast Invest Like The Best, l'animateur a demandé à Sam Altman :
« Tout au long du parcours de cette entreprise, qui est le héros méconnu que tu admires le plus ? »
Altman a répondu sans hésiter : Alec Radford.
Les travaux réalisés par Alec ont ensuite véritablement évolué pour devenir la série GPT.
En outre, il a constamment inspiré et guidé les gens autour de lui, orientant la recherche vers des directions qui se sont avérées extrêmement importantes par la suite.
Wired a également porté un jugement de poids :
L'ascension d'OpenAI a véritablement commencé lorsqu'elle a embauché Alec Radford, alors encore inconnu.
En 2016, Alec rejoint OpenAI. Il n'avait que 23 ans.
À l'époque, c'était encore un jeune homme mangeant des pizzas ananas-oignons au milieu de la nuit, participant à des compétitions Kaggle avec ses camarades de classe, et ayant fondé une petite entreprise d'IA dans un dortoir de Boston : Indico.
Après avoir accepté l'invitation à rejoindre OpenAI, Alec n'y attachait pas une importance excessive, estimant plutôt que ce travail « ressemblait un peu à des études supérieures ».
Peu de pression à court terme, pas de produit devant absolument aboutir immédiatement. Il était libre de chercher une réponse à une question dont personne ne connaissait la solution à l'époque : À quoi peuvent réellement servir les modèles de langage ?
Sa première tentative fut d'entraîner un modèle de langage sur 2 milliards de commentaires Reddit. L'échelle des données était importante, mais le résultat n'était guère utile.
Cette expérience, comme beaucoup d'explorations précoces d'OpenAI, fut un échec.
Mais OpenAI l'a laissé continuer. L'ancien CTO Greg Brockman se souvient :
« Nous pensions simplement qu'Alec était brillant, alors nous l'avons laissé faire ce qu'il voulait. »
Ainsi, ce jeune homme a pu poursuivre ses expériences. Mais rapidement, il a été limité par le manque de puissance de calcul d'OpenAI.
Ne pouvant pas lancer des expériences plus vastes, Alec a réduit le champ d'application. Il a rassemblé environ 100 millions de commentaires de produits Amazon et demandé au modèle d'accomplir une tâche simple, presque fastidieuse : prédire le caractère suivant en fonction du texte précédent.
Au cours de ce processus, un phénomène inattendu est apparu.
Bien que personne n'ait appris au modèle ce qu'étaient des commentaires positifs ou négatifs, un neurone à l'intérieur du modèle a commencé à distinguer activement la tonalité positive ou négative des commentaires.
En l'orientant dans un sens, le modèle générait plus facilement des avis favorables ; en l'orientant dans l'autre sens, il se mettait à critiquer le produit.
OpenAI l'a plus tard baptisé « neurone de sentiment non supervisé ».
Cette expérience a pour la première fois fourni la réponse qu'Alec cherchait vraiment :
Lorsqu'on demande à un modèle d'accomplir une tâche de prédiction sur suffisamment de données, il peut apprendre par lui-même certaines capacités qui n'étaient jamais explicitement mentionnées dans l'objectif d'entraînement.
Ilya Sutskever l'a également encouragé à sortir des commentaires Amazon et à faire apprendre au modèle des textes plus vastes et diversifiés, voire l'ensemble d'Internet.
Le problème était qu'avec l'architecture des réseaux neuronaux de l'époque, traiter une telle quantité de données pourrait prendre des années.
Mais rapidement, OpenAI a eu de la chance. Car en 2017, l'article de Google qui a réécrit le cours de l'IA, « Attention Is All You Need », est apparu.
Ilya a immédiatement repéré l'architecture Transformer. Sa première réaction fut : « C'est exactement ce que nous attendions ! »
Alec a ensuite connecté le Transformer à sa ligne expérimentale précédente. Il a utilisé l'ensemble de données BooksCorpus, comprenant plus de 7000 livres en anglais non encore publiés officiellement, couvrant des genres comme l'amour, l'aventure et le fantastique.
Contrairement à de nombreux ensembles de données où les phrases sont fragmentées, les livres préservent une narration longue et continue, plus adaptée pour que le modèle apprenne les relations à longue distance entre les contextes.
Il n'a pas utilisé le Transformer pour la traduction automatique comme Google, mais lui a demandé de prédire le mot suivant le plus probable.
La machine a réagi : un mot, puis un autre, encore un autre — chaque nouveau mot étant déduit des modèles cachés dans ces sept mille livres.
Pour Alec, « les progrès réalisés en ces deux semaines dépassaient ceux des deux années précédentes combinées ». Cet ensemble d'expériences est finalement devenu la base du pré-entraînement de GPT-1.
Lui et ses collègues ont commencé à discuter d'une direction appelée « Big Transformer » : ne pas concevoir plus de règles complexes pour le modèle, mais simplement agrandir l'échelle du modèle, des données et du calcul, pour voir ce qu'il pouvait encore apprendre.
En 2018, cette approche a reçu un nom officiel :
Generative Pre-trained Transformer (Transformer génératif pré-entraîné), en abrégé GPT.
Le premier article sur GPT comptait quatre auteurs, et le premier nommé était Alec Radford.
GPT-1 n'a pas immédiatement fait sensation dans le monde, mais il a apporté à OpenAI quelque chose de plus important : une direction.
Après la percée d'Alec, la direction d'OpenAI a pris une série de décisions clés. Elle a commencé à regrouper les ressources de recherche, auparavant dispersées dans des projets comme la robotique, pour les concentrer sur les modèles de langage.
Plutôt que de continuer à concevoir de nouvelles structures complexes, l'équipe a préféré collecter plus de données, investir plus de puissance de calcul et amplifier la méthode qui avait déjà montré son potentiel.
Un an plus tard, GPT-2 est sorti.
Son nombre de paramètres est passé de 117 millions pour GPT-1 à 1,5 milliard, et les données d'entraînement sont passées de plus de 7000 livres à environ 8 millions de pages web.
L'article sur GPT-2 comptait 6 auteurs, Alec étant toujours le premier nommé, avec Jeffrey Wu comme co-premier auteur.
Cette fois, le modèle n'avait plus besoin d'être réentraîné pour chaque tâche. Rien qu'en prédisant le mot suivant, il pouvait déjà tenter la traduction, la réponse aux questions et le résumé, obtenant même de bons résultats dans plusieurs tests en « zéro-shot ».
Début 2020, OpenAI a formalisé cette relation dans l'article Scaling Laws for Neural Language Models.
Alec figurait également parmi les 10 auteurs. Les intuitions accumulées jusque-là lors d'expériences successives commençaient à être décrites comme des lois mathématiques prédictibles.
En mai de la même année, OpenAI a encore augmenté le modèle à 175 milliards de paramètres, créant GPT-3.
À ce stade, le nombre d'auteurs de l'article était passé de 4 pour GPT-1 à 31.
Le premier auteur était devenu Tom Brown, Alec se classant au 29e rang, juste avant Ilya Sutskever et Dario Amodei.
Le changement dans l'ordre des signatures reflétait également l'évolution de la nature du projet GPT.
Ce n'était plus une expérience menée par Alec avec une petite équipe, mais un grand projet nécessitant la mobilisation conjointe de la recherche, de l'ingénierie et de la puissance de calcul chez OpenAI.
La voie initialement impulsée par Alec était devenue la stratégie technique la plus importante de l'entreprise.
Mais au moment même où GPT commençait véritablement à être connu du public et allait avoir un impact énorme, Alec avait déjà tourné son regard ailleurs.
Au-delà du langage, il a ensuite visé juste successivement avec l'image et la parole
Après la sortie de GPT-3, Alec est retourné à ses premières amours : l'image.
Avant même de rejoindre OpenAI, son œuvre la plus influente était DCGAN.
Avec Luke Metz et Soumith Chintala, il a introduit les réseaux convolutifs dans les GAN, résolvant le problème de l'entraînement instable de ce type de modèles.
Ils ont également découvert que lorsque le modèle apprenait à générer des images de chambres, il formait spontanément des représentations visuelles concernant les lits, les fenêtres et la structure des scènes.
L'intuition qui allait réapparaître à plusieurs reprises dans les recherches d'Alec commençait alors à émerger :
Il suffit de trouver une tâche d'entraînement suffisamment générale, et le modèle peut apprendre par lui-même davantage de capacités en accomplissant cette tâche.
À vrai dire, il y a une anecdote à ce sujet.
En 2016, Jensen Huang a présenté lors d'une conférence NVIDIA des images générées par DCGAN, mais a attribué le mérite principal au laboratoire Facebook dirigé à l'époque par Yann LeCun.
Alec et plusieurs camarades regardaient le direct depuis le bureau de Boston, très blessés.
Peu après, Alec a quitté Boston pour rejoindre OpenAI.
Son ami Victoroff estime même que cette négligence a été une raison importante de la décision d'Alec de se rendre chez OpenAI.
Quelques années plus tard, il est revenu à l'image avec GPT.
En 2020, OpenAI a publié Image GPT : transformer une image en une séquence de pixels, puis prédire le pixel suivant comme on prédit le mot suivant.
Alec était le deuxième auteur de l'article.
Cela a prouvé que GPT n'appartenait pas naturellement au langage. Tant que les données pouvaient être représentées sous forme de séquence, la même méthode pouvait être utilisée pour apprendre l'image.
Mais générer pixel par pixel était bien trop lent. Six mois plus tard, DALL·E a compressé les images en tokens visuels, puis placé le texte et l'image dans la même séquence Transformer.
« Fauteuil en forme d'avocat », « bébé carotte promenant un chien » — ces combinaisons jamais vues auparavant ont été dessinées pour la première fois par le modèle.
Publié le même jour que DALL·E, il y avait CLIP.
Cette fois, Alec est revenu à la position de co-premier auteur.
OpenAI a utilisé 400 millions de paires image-texte collectées sur Internet, en demandant au modèle de faire un simple choix : quel texte va avec quelle image ?
Pas de catégories fixes, pas d'entraînement spécialisé pour chaque tâche.
Finalement, CLIP, sans avoir utilisé l'ensemble d'entraînement ImageNet, a atteint une précision de reconnaissance en « zéro-shot » comparable à celle des premiers ResNet-50 entraînés de manière supervisée.
Au-delà de l'image, il a également expérimenté avec le son.
Jukebox en 2020 a compressé l'audio en codes discrets, puis a demandé à un Transformer de générer de la musique comme il génère du texte.
Deux ans plus tard, la même approche a conduit au plus pratique Whisper.
Alec était à nouveau le premier auteur de l'article.
OpenAI a collecté 680 000 heures d'audio et leurs transcriptions sur Internet. Les données n'étaient pas parfaites, mais contenaient différentes langues, accents, bruits et contextes d'utilisation.
Whisper n'a pas été optimisé spécifiquement pour un classement particulier. Lors de tests en « zéro-shot » sur plusieurs ensembles de données de sources différentes, il s'est montré plus robuste, mieux à même de gérer les accents, les bruits de fond et le vocabulaire spécialisé du monde réel.
Ces travaux semblent s'étendre à l'image, au langage, au multimodal et à la parole, mais découlent en réalité du même jugement d'Alec :
Moins imposer de règles, fournir davantage de données et de puissance de calcul, et les capacités générales peuvent émerger d'elles-mêmes.
Il semble toujours devancer le consensus de l'industrie d'un pas, trouvant la prochaine tâche simple qui mérite d'être amplifiée.
L'homme le plus mystérieux d'OpenAI
Le passé glorieux des grands noms est innombrable, la présentation s'arrête donc ici.
Revenant à sa personne, on peut presque dire qu'il était l'homme le plus mystérieux d'OpenAI.
Comparé à l'influence de ses articles, Alec ne cultive presque pas sa marque personnelle.
Bien qu'il ait un compte X avec plus de 70 000 abonnés, il publie rarement sur lui-même, se contentant surtout de partager des contenus.
Son message épinglé en haut reste à ce jour celui de 2018, lors de la sortie de GPT-1.
« Voici ce sur quoi j'ai travaillé pendant l'année passée. »
Il a d'abord listé CoVe, ELMo et ULMFiT comme sources d'inspiration, puis a présenté le résultat avec une phrase plutôt simple :
« Un modèle de langage Transformer qui, avec seulement de légers ajustements, peut être transféré à diverses tâches de traitement du langage naturel. »
Qui aurait pensé que ce travail annonçait une ère entièrement nouvelle ?
Les interviews publiques détaillées d'Alec sont très rares ; et son site web personnel est d'une simplicité presque vide.
On ne trouve que son nom, « Latest Posts » et des boutons de pagination, presque aucun autre contenu.
(Même sa photo reste toujours la même, le grand homme est vraiment très discret.)
Cela crée un contraste étrange avec sa position dans le secteur.
Le public, en parlant d'OpenAI et de GPT, pense d'abord à Sam Altman et Ilya Sutskever ; mais les chercheurs, en évoquant les articles clés de la dernière décennie, ont du mal à contourner Alec Radford.
Sam Altman décrit dans sa dernière interview que si l'on demande à ceux qui ont travaillé avec Alec, ils diront bien sûr d'abord :
C'est un « génie qu'on ne voit qu'une fois tous les quelques décennies », un penseur extrêmement créatif, avec une compréhension profonde de ses recherches.
Mais avant de finir leur phrase, chacun ajoutera :
C'est aussi l'une des personnes les plus gentilles, les plus bienveillantes avec qui ils aient jamais collaboré.
One More Thing
Cependant, ce père du GPT au jugement exceptionnel suit vraiment une voie peu conventionnelle en matière de recherche...
En décembre 2024, Alec a quitté OpenAI après près de neuf ans de travail, pour se consacrer à la recherche indépendante.
Mais alors que tout le monde s'attendait à ce qu'il crée le prochain GPT —
Alec est parti créer une « IA vieillotte ».
En avril dernier, lui, Nick Levine et David Duvenaud ont lancé Talkie.
C'est un « modèle de langage vintage » de 13 milliards de paramètres, dont le modèle de base a été entraîné sur 260 milliards de tokens.
Son corpus de pré-entraînement suit une règle stricte :
AUCUN matériel en anglais publié après le 1er janvier 1931 n'est autorisé !
Ainsi, il a lu sur la machine à vapeur, l'avion et la Première Guerre mondiale, mais ignore ce qui s'est passé avec la télévision, Internet et la Seconde Guerre mondiale.
Et ne connaît certainement pas Python.
Mais ce vieux fossile, après que les chercheurs lui aient montré quelques exemples de programmes Python et lui aient demandé de résoudre des problèmes de programmation HumanEval,
a effectivement écrit quelques lignes de code simples.
Cette expérience teste réellement : à quelle vitesse un modèle de langage de base n'ayant jamais été exposé à l'informatique moderne peut-il absorber une compétence totalement nouvelle après avoir reçu un petit nombre de nouveaux exemples et un post-entraînement ?
Quoi ? Vous voulez dire que pendant que tout Internet continue frénétiquement à augmenter l'échelle (Scaling) et cherche à faire lire toujours plus aux modèles...
Le père du GPT lui a au contraire « coupé Internet » pendant près d'un siècle ??
Si le modèle n'a jamais vu la réponse, mais peut tout de même apprendre et utiliser sur le champ, est-ce qu'il s'appuie sur la mémoire, ou sur l'apprentissage ?
On ne sait pas non plus sur quoi le grand homme mise cette fois, et à quoi il pense à l'avance...
Mais selon son habitude, lorsque le monde extérieur comprendra enfin cette question, il sera sans doute déjà passé à la suivante ~
Références :
[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20
[2]https://www.wired.com/story/what-openai-really-wants/
[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/
[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
Cet article provient du compte WeChat public « Quantum Bit », auteur : Focus on Frontier Technology
