Le monde de l'IA ne manque pas de ragots.
Cette fois, le protagoniste est Giambattista Parascandolo, un chercheur important dans le domaine des modèles de raisonnement chez OpenAI.
En 2020, il s'est rendu au MIT pour un entretien pour un poste de professeur et a donné une présentation sur l'utilisation de GPT pour le raisonnement. Résultat, la plupart des membres du comité de sélection ont qualifié cette approche de « non-sens » (nonsense).
https://x.com/turingbook/status/2084003612687249836?s=20
Le type a carrément joué cartes sur table, en écrivant cette expérience sur sa page personnelle et en y ajoutant la description du rapport de l'époque ainsi que des liens vers les diapositives.
https://sites.google.com/view/giambattista-parascandolo/home
Que contenait ce rapport qualifié de « non-sens » ?
Le site web du MIT indique que le thème de cette présentation était de savoir comment les réseaux de neurones artificiels peuvent dépasser la distribution d'entraînement et acquérir des capacités de généralisation et de planification plus proches de celles de l'homme.
Parascandolo pense que les humains sont capables de réorganiser leurs connaissances existantes, d'identifier des invariants clés, de construire des modèles abstraits et d'effectuer une planification à long terme. Les réseaux de neurones artificiels ont encore une grande marge de progression dans ces domaines.
À la fin de sa présentation, il propose trois futures pistes de recherche : le raisonnement ouvert dans les réseaux de neurones, les degrés de liberté encore inexplorés dans les réseaux de neurones artificiels, et l'utilisation du langage comme support de raisonnement dans l'apprentissage par renforcement pour améliorer l'efficacité de l'échantillonnage.
Le concept clé parmi ceux-ci est celui de « raisonnement ouvert ».
Parascandolo le définit comme suit : le modèle peut consacrer plus de temps et de calculs pour corriger continuellement sa réponse. Plus le problème est difficile, plus le modèle devrait réfléchir à plusieurs reprises, et ces calculs supplémentaires doivent se traduire par de meilleurs résultats.
Cela ressemble déjà beaucoup à l'extension du calcul au moment du raisonnement d'aujourd'hui.
Le Transformer standard de l'époque avait une profondeur de réseau fixe, la quantité de calcul direct subie par chaque token était fondamentalement déterminée, mais la difficulté d'un problème n'avait pas de relation stable avec la longueur de l'entrée. Un problème pouvait être très long, mais sa réponse très simple. Un autre problème ne pouvait avoir qu'une phrase, mais nécessiter plusieurs tours de décomposition et de vérification.
Le RNN semblait plus adapté à ce type de tâche. Il pouvait fonctionner de manière répétée et, en théorie, obtenir un temps de réflexion de longueur arbitraire. Cependant, la courbe présentée par Parascandolo dans son PPT montrait que les RNN n'étaient généralement performants que dans le voisinage du nombre d'étapes de raisonnement vu lors de l'entraînement. Continuer à augmenter le nombre de cycles pouvait même entraîner une baisse de la précision.
Cela signifiait qu'augmenter la quantité de calculs n'était que la première étape ; le modèle devait également apprendre à utiliser ces calculs.
La planification multi-étapes la plus efficace à l'époque reposait largement sur la prédiction-contrôle de modèle et la recherche arborescente de Monte-Carlo. Le réseau neuronal était chargé de prédire l'environnement ou d'évaluer la valeur, tandis qu'un algorithme de recherche externe était chargé d'explorer les chemins futurs. Parascandolo souhaitait intégrer davantage les capacités de raisonnement à long terme dans les réseaux de neurones.
Sa deuxième idée était de faire du langage un support de raisonnement.
Parascandolo a pris l'exemple du jeu classique *Montezuma's Revenge*. Un agent d'apprentissage par renforcement formé à partir de zéro doit essayer un grand nombre de combinaisons d'états et d'actions. De nombreuses actions correctes ne sont pas complexes en elles-mêmes ; ce qui manque réellement à l'agent est un jugement sur « quelle action est plus raisonnable ».
GPT a déjà absorbé une grande quantité de connaissances sur le monde à partir de textes. Le langage peut aider le modèle à décrire l'environnement, à comprendre les objectifs, à décomposer les tâches et à générer des plans de haut niveau, tout en réduisant considérablement l'espace de recherche.
Aujourd'hui, cette approche évoque facilement les chaînes de pensée, la planification linguistique et les flux de travail des agents.
La troisième piste de recherche proposée par Parascandolo était que les systèmes d'IA pouvaient réinitialiser la tâche, revenir à n'importe quel état mémorisé, construire des scénarios contrefactuels, et même ajuster le temps, la gravité et les résultats d'observation dans le simulateur. Le système pouvait même directement lire, copier et modifier ses propres valeurs d'activation et les poids de son réseau neuronal.
Cela équivalait à intégrer le processus d'apprentissage lui-même dans l'espace d'action de l'agent. Il pouvait s'engager dans une pratique délibérée, générer des scénarios d'entraînement spéciaux, transférer des connaissances existantes, et réapprendre à partir des trajectoires d'échec.
Le PPT d'il y a cinq ans avait presque esquissé la voie des modèles de raisonnement actuels.
Nous avons également déterré un blog qu'il avait écrit en juin 2021, dont le titre était *« Rétropropagation, évolution et le malentendu des "deux chiens" »*.
Cet article réfutait principalement l'argument selon lequel « les réseaux de neurones ont besoin de masses de données, ils ne ressemblent donc pas au cerveau humain ».
Parascandolo pensait que le fait que les humains apprennent à reconnaître les chiens après en avoir vu seulement quelques-uns ne signifie pas qu'ils n'ont pas accumulé d'expérience auparavant. La longue évolution a imprégné l'expérience du monde de nos ancêtres dans la structure et les biais inductifs du cerveau humain.
Selon cette perspective, le pré-entraînement à grande échelle des réseaux de neurones peut être comparé à l'évolution biologique, tandis que le réglage fin du modèle et l'apprentissage en contexte sont plus proches de l'apprentissage au cours de la vie d'un individu. GPT-3 a lu beaucoup plus de texte que n'importe quel individu, mais son pré-entraînement a joué le rôle de compresser une expérience massive et de façonner une capacité d'apprentissage efficace. Par conséquent, on ne peut pas directement comparer toutes les données de pré-entraînement du modèle avec le petit nombre d'échantillons d'apprentissage d'un individu après sa naissance.
Cette compréhension signifie également que continuer à augmenter les données et la puissance de calcul pourrait encore apporter des améliorations significatives. Il comparait les rôles qu'ils jouent, sans considérer que le mécanisme de la descente de gradient et celui de l'évolution biologique étaient identiques.
Qui est ce type ?
Ce type est assez discret ; son dernier post sur X remonte à novembre 2024, date à laquelle il recrutait deux ingénieurs de recherche (RE) et ingénieurs logiciels (SWE) pour o1.
Selon sa page personnelle, les recherches de Parascandolo ont toujours tourné autour de la généralisation, de la planification et du raisonnement.
En 2017, il a commencé son doctorat à l'Institut Max Planck pour les systèmes intelligents et à l'ETH Zurich, sous la direction de Bernhard Schölkopf et Thomas Hofmann. Sa thèse portait sur la généralisation hors distribution (OOD) dans l'apprentissage profond.
Pendant son doctorat, il a effectué un stage à Google X à Mountain View et à DeepMind à Londres. Le premier portait sur la recherche en conception automatisée sur des simulateurs à très grande échelle, et le second sur la recherche de division pour conquérir l'arbre de recherche de Monte-Carlo.
Après avoir obtenu son doctorat en septembre 2021, il a rejoint directement OpenAI. Il a d'abord intégré l'équipe d'apprentissage par renforcement dirigée par John Schulman, puis s'est tourné vers l'équipe algorithmique où se trouvait Mark Chen, avant de rejoindre l'équipe 🍓 (fraise) dirigée par Jerry Tworek. L'équipe fraise était le nom de code interne du projet o1.
En 2023, il a participé au développement de GPT-4 et a constitué une nouvelle équipe pour poursuivre les recherches sur le raisonnement. Il a ensuite participé aux recherches fondamentales d'OpenAI o1 et o3, promouvant l'extension de la modélisation des récompenses, la construction d'environnements et des algorithmes de raisonnement généraux. Une partie de la description de ces algorithmes est encore masquée par des blocs noirs.
Lors de cet entretien au MIT en 2020, Parascandolo n'a pas obtenu le poste de professeur ; il est allé chez OpenAI.
Quatre ans plus tard, il a contribué à construire o1.
La vie est toujours pleine de surprises.
Liens de référence :
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179
Cet article provient du compte officiel WeChat "Machine Heart" (ID : almosthuman2014), auteur : Yang Wen
