Richard Sutton, 69 ans, père de l'apprentissage par renforcement, se lance dans l'entrepreneuriat : construire un agent intelligent consommant 20 watts, équivalent au cerveau humain
Le pionnier de l'apprentissage par renforcement et lauréat du prix Turing 2024, Richard Sutton, âgé de 69 ans, a cofondé Oak Lab avec son ancien étudiant Khurram Javed. Ils quittent Keen Technologies (fondé par John Carmack), estimant que l'approche actuelle de l'IA basée sur le deep learning est inefficace et nécessite une refondation.
L'objectif ambitieux d'Oak Lab est de créer un agent intelligent d'un billion de paramètres, capable d'apprentissage et de planification en temps réel, avec une consommation électrique de seulement 20 watts, équivalente à celle du cerveau humain. Leur vision centrale est que l'intelligence émerge d'une expérience générée en continu lors de l'exécution ("l'expérience runtime"), contrairement aux grands modèles de langue pré-entraînés de manière statique.
Leur architecture, nommée OaK (Options and Knowledge), vise à permettre à l'agent d'apprendre en temps réel à partir d'expériences individuelles (taille de lot de 1), sans relecture des données passées. L'idée est de découvrir des structures abstraites dans le temps pour former des compétences réutilisables. Cette approche s'appuie sur l'"Hypothèse du Grand Monde", selon laquelle le monde réel évolue toujours plus vite que les modèles formés sur des données figées, nécessitant un apprentissage continu et adaptatif.
Cette démarche prolonge les réflexions de Sutton, notamment son essai "The Bitter Lesson", et son récent plaidoyer pour une ère de l'IA fondée sur l'expérience des agents plutôt que sur des données humaines curatées. Sa première présentation publique aura lieu au forum WAIC de Shanghai.
marsbit07/14 12:35
