À 69 ans, c'est l'âge pour "créer" !
Richard Sutton, fondateur de l'apprentissage par renforcement et lauréat du prix Turing 2024, a annoncé qu'il avait quitté avec son étudiant Khurram Javed Keen Technologies, fondée par John Carmack, pour créer leur propre entreprise, Oak Lab.
Richard Sutton peut être considéré comme le pionnier de l'apprentissage par renforcement moderne :
Il a étudié la psychologie en licence à Stanford, a obtenu son doctorat sous la direction du précurseur de l'apprentissage par renforcement Andrew Barto, et a travaillé successivement dans les laboratoires de recherche de GTE Labs et AT&T Labs au début de sa carrière.
Il a proposé l'algorithme d'apprentissage par différence temporelle, et le livre co-écrit avec son mentor Andrew Barto, Reinforcement Learning: An Introduction, est le manuel universel dans ce domaine à l'échelle mondiale.
À partir de 2003, Sutton a longtemps occupé le poste de professeur à temps plein à l'Université de l'Alberta, où il a fondé le laboratoire de recherche RLAI.
De 2017 à 2023, il a occupé le poste de chercheur scientifique émérite chez DeepMind, où il a dirigé la création de l'équipe de recherche DeepMind Edmonton.
Parallèlement, pendant plus de quarante ans, Sutton a formé un grand nombre de talents de premier plan dans l'industrie de l'IA.
Parmi eux se trouvent David Silver, concepteur principal d'AlphaGo, Doina Precup, responsable de DeepMind Montréal, Michael Bowling, expert en IA pour les jeux, et Khurram Javed, avec qui il co-fonde cette entreprise.
D'après ses tweets, la raison pour laquelle Sutton se lance seul cette fois est assez directe :
Il considère que les méthodes actuelles d'apprentissage profond sont fragiles et peu efficaces, et qu'il ne s'agit pas de les rapiécer, mais de trouver de nouvelles idées fondamentales et de les reconstruire entièrement.
En d'autres termes, Sutton estime que la voie actuelle de l'IA a du mal à progresser vers une intelligence générale de niveau supérieur.
L'objectif ultime d'Oak Lab est :
Construire un agent intelligent d'une échelle de mille milliards de paramètres, capable d'apprendre en temps réel, de planifier en temps réel, avec une consommation totale de seulement 20 watts.
20 watts, soit exactement la consommation d'énergie du cerveau humain.
Alors que toute l'industrie de l'IA continue d'empiler des GPU et d'agrandir ses centres de données, le père fondateur de l'apprentissage par renforcement se prépare à redéfinir ce qu'est l'intelligence.
La séparation avec "Carmack"
Pour comprendre pourquoi Sutton part, il faut d'abord préciser d'où il vient.
Le fondateur de Keen Technologies, John Carmack, est le créateur de Doom et Quake, ancien CTO d'Oculus, une légende dans le milieu des programmeurs, "Carmack".
En 2022, après avoir quitté Meta, il s'est entièrement consacré à l'entrepreneuriat dans l'IA, orienté également vers l'apprentissage par renforcement.
En septembre 2023, Sutton a choisi de rejoindre Keen, suite à la fermeture par Google DeepMind du laboratoire qu'il avait co-créé avec Edmonton au Canada.
À l'époque, l'association des deux hommes était une combinaison de rêve :
L'un était une légende de l'ingénierie des systèmes de base, l'autre était le fondateur de la théorie de l'apprentissage par renforcement, avec pour projet de créer un système prototype présentant des "signes de vie d'une IAG" d'ici 2030.
Aujourd'hui, après moins de trois ans de collaboration, Sutton a choisi de se retirer.
Mais il a spécifiquement réservé la première phrase de son tweet à Carmack :
Je ne saurais trop vanter les mérites de John Carmack et de Keen Technologies.
Sous-entendu : ce n'est pas parce que Carmack n'est pas bon que je pars, c'est parce que nous avons des divergences sur la manière d'atteindre l'objectif final.
Selon Sutton, la voie actuelle de développement de l'apprentissage profond n'est pas viable.
Les modèles n'ont pas besoin d'itérations et de réglages sans fin ; toute l'industrie a besoin d'une refonte complète au niveau paradigmatique.
Que va faire Oak Lab ?
L'essentiel de ce sur quoi Sutton mise dans cette nouvelle entreprise peut être résumé en une phrase :
L'intelligence provient de l'expérience générée en continu pendant l'exécution.
Le mode de fonctionnement actuel des grands modèles dominants consiste essentiellement à consacrer des mois, à un coût énorme, à un pré-entraînement hors ligne reposant sur des masses de données textuelles ;
À la fin de l'entraînement, les paramètres du modèle sont essentiellement figés, puis le modèle est mis en ligne.
Mais même s'il dialogue quotidiennement avec des centaines de millions d'utilisateurs, la grande majorité des échanges ne peuvent se transformer en nouvelles capacités.
Le modèle ne peut que réutiliser les connaissances acquises pendant la phase d'entraînement, ou se souvenir brièvement des informations dans le contexte de la conversation, mais il ne peut pas, comme les humains et les animaux, se mettre à jour en percevant continuellement le monde extérieur.
Mais l'agent intelligent qu'Oak Lab veut créer est différent.
Il doit percevoir son environnement, agir en conséquence, puis ajuster son comportement en fonction des résultats ;
Dès qu'une nouvelle expérience est générée, le processus d'apprentissage se produit simultanément, sans avoir à attendre longtemps pour lancer une nouvelle phase d'entraînement.
Comme le dit Sutton lui-même :
Chaque instant d'exécution de l'IA devrait être un processus d'apprentissage.
Actuellement, Oak Lab a déjà dévoilé sa feuille de route de recherche principale, centrée sur une architecture appelée OaK.
OaK signifie Options and Knowledge, c'est-à-dire compétences et connaissances.
L'objectif de cette architecture est de permettre à l'agent intelligent de découvrir, à partir de sa propre expérience, des structures abstraites avec une dimension temporelle, et de les transformer en compétences qui peuvent être vérifiées, planifiées et réutilisées.
Par exemple, la première fois qu'un robot va chercher de l'eau dans la cuisine, l'ensemble du processus comprend une série d'actions : identifier la pièce, éviter les obstacles, saisir un verre, ouvrir le robinet, etc.
L'IA traditionnelle traiterait toutes les étapes comme une tâche de décision unique ;
L'architecture OaK, en revanche, permettrait à l'agent intelligent de décomposer l'expérience en compétences de haut niveau telles que "aller à la cuisine", "prendre un verre", "remplir d'eau".
Lorsqu'il rencontrera des objectifs similaires à l'avenir, l'agent intelligent pourra directement extraire les compétences existantes et ajuster le plan en fonction de l'environnement actuel.
Cette manière de simplifier les expériences passées le long de la dimension temporelle s'appelle l'abstraction temporelle. Elle permet à l'IA d'imiter les humains en transformant une série d'actions dispersées en compétences matures, et de réaliser des tâches plus complexes en combinant ces compétences.
En outre, l'architecture Oak a un autre objectif de conception radicalement différent de l'apprentissage profond actuel :
La phase d'apprentissage ne stocke pas les données historiques et ne rejoue pas les expériences passées.
L'apprentissage par renforcement profond actuel a souvent tendance à placer une grande quantité d'expériences passées dans une mémoire tampon et à les échantillonner de manière répétée pour l'entraînement.
Oak Lab envisage d'adopter un mode d'apprentissage en temps réel avec un lot (batch size) de 1 : dès qu'une nouvelle expérience est obtenue, une mise à jour est effectuée immédiatement.
L'équipe pense que si ce type d'algorithme est combiné à des réseaux neuronaux pilotés par événements, les besoins en calcul et en énergie du système pourraient diminuer de plusieurs ordres de grandeur, rendant ainsi l'apprentissage continu et en temps réel réellement réalisable.
D'où l'objectif à long terme : mille milliards de paramètres, apprentissage en temps réel, planification en temps réel, consommation de 20 watts.
Bien sûr, pour l'instant, ce n'est qu'une vision.
Oak Lab repose également sur un fondement théorique, proposé conjointement par Sutton et Javed : l'hypothèse du grand monde.
L'idée centrale est la suivante : le monde réel est toujours plus complexe que l'IA. Même si les modèles deviennent de plus en plus puissants, la quantité de données dans l'environnement extérieur augmentera également de façon exponentielle.
Les modèles entraînés sur des données préparées à l'avance ne peuvent pas suivre l'évolution de la réalité.
L'IA doit apprendre à se souvenir sélectivement de ce qui est utile, à oublier à temps les informations obsolètes, et à apprendre continuellement en ligne pour s'adapter au monde réel.
De "la leçon amère" à l'entrepreneuriat
Ceux qui connaissent Sutton ne seront pas surpris par ces idées.
En 2019, il a écrit un court essai très largement diffusé dans le domaine de l'IA : "The Bitter Lesson" (La leçon amère).
L'article passe en revue l'évolution des échecs, du Go, de la reconnaissance vocale et de la vision par ordinateur, et tire une conclusion :
Les méthodes d'apprentissage et de recherche générales qui peuvent s'adapter à l'échelle des calculs finiront, à long terme, par surpasser les systèmes qui dépendent des connaissances manuelles humaines.
À l'ère des grands modèles, cette voie semble avoir été fortement validée : des modèles plus grands, plus de données, une puissance de calcul plus forte ont propulsé les capacités de l'IA.
Mais Sutton n'est toujours pas satisfait de l'apprentissage profond dominant aujourd'hui.
À ses yeux, les systèmes actuels dépendent toujours fortement de données produites, sélectionnées et organisées par l'homme.
Le contenu que les modèles apprennent provient principalement de ce que les humains ont déjà écrit, photographié ou annoté par le passé.
Un véritable agent intelligent doit générer de nouvelles expériences par ses propres actions et utiliser ces expériences pour poursuivre des objectifs à long terme.
Cela explique aussi pourquoi il est passé de "la leçon amère" à "l'ère de l'expérience".
En 2025, avec David Silver, figure centrale d'AlphaGo, il a proposé que l'IA passe progressivement de la dépendance aux données humaines à la dépendance à l'expérience générée par l'interaction des agents intelligents avec l'environnement.
Oak Lab est précisément la concrétisation entrepreneuriale de cette proposition de recherche.
Il y a quarante ans, lorsque Sutton écrivait dans sa thèse de doctorat "temporal credit assignment in reinforcement learning" (l'attribution du crédit temporel dans l'apprentissage par renforcement), l'apprentissage par renforcement était encore une discipline marginale.
Quarante ans plus tard, alors que le monde entier court après la commercialisation des grands modèles, il continue de se poser la même question –
D'où vient vraiment l'intelligence ?
Une dernière chose
La première étape de l'entrepreneuriat du vénérable professeur : le WAIC de Shanghai.
Lors du forum des penseurs du WAIC, Sutton donnera une présentation intitulée "Le principe premier de l'apprentissage par renforcement : cultiver une super-intelligence à partir de l'expérience".
Lien de référence : https://x.com/RichardSSutton/status/2076663628301058329
Cet article provient du compte officiel WeChat "量子位", auteur : 关注前沿科技
