Rapport de Xin Zhiyuan
【Introduction】Il y a un philosophe chez Google DeepMind, il y est depuis neuf ans. Le cadre d'alignement qu'il a inventé a directement influencé les décisions d'entraînement de Gemini – mais alors que 670 milliards de dollars affluent dans la course et que l'entreprise signe des accords militaires, qu'est-ce qu'un philosophe peut encore changer ?
En mai de cette année, le PDG de Google DeepMind, Demis Hassabis, a annoncé lors de la Google I/O « l'AGI est désormais à l'horizon », donnant clairement une ligne de temps de trois à cinq ans pour l'apparition de l'AGI.
Il y a quelques mois, un homme américain a mis fin à ses jours après avoir échangé des milliers de messages avec Google Gemini. Dans ses conversations, il avait construit un monde fantaisiste élaboré, se persuadant presque de mener une attaque à l'aéroport international de Miami. Selon les journaux de conversation obtenus par le Wall Street Journal, Gemini a tenté à plusieurs reprises de briser le rôle, lui suggérant d'appeler une ligne d'écoute de crise – chaque fois, il le ramenait à son récit fantasmé. Finalement, l'IA lui a fait écrire une lettre d'adieu et a donné un compte à rebours.
Entre la promesse de l'AGI et les dommages réels de l'IA, le philosophe politique Iason Gabriel travaille déjà en interne chez DeepMind depuis neuf ans.
Lorsqu'il a rejoint l'entreprise en 2017, cet universitaire formé à Oxford était le seul philosophe actif dans un laboratoire d'IA de pointe mondial, essayant de répondre à une question apparemment simple mais en réalité sans fond : qu'est-ce que l'IA exactement, et quelle éthique est digne d'elle ?
Le vrai problème rencontré lors de l'entraînement de Gemini : À qui l'IA doit-elle obéir ?
Pourquoi une entreprise fabriquant des robots de Go aurait-elle besoin d'un éthicien ? Gabriel était également perplexe au début.
La réponse se trouve dans le jugement des trois fondateurs de DeepMind – Demis Hassabis, Shane Legg et Mustafa Suleyman (actuel PDG de l'IA chez Microsoft) ont fondé l'entreprise en 2010, et leur objectif n'était pas le Go.
Mustafa Suleyman
Ils voulaient construire une AGI, permettant aux ordinateurs d'égaler voire de surpasser les capacités cognitives humaines.
Dire cela à l'époque équivalait à ruiner sa réputation académique, car tout le monde trouvait cela farfelu.
Les trois n'en avaient cure, affirmant vouloir « résoudre le problème de l'intelligence, puis résoudre tous les autres problèmes ».
Legg, dès sa sortie de l'école en 1999, avait prédit que l'AGI arriverait entre 2025 et 2028, il a été moqué pendant trente ans, sans jamais changer d'avis.
Shane Legg
Sa logique était :
Si vous ne faites qu'une petite pièce, vous n'avez peut-être pas besoin d'un philosophe moral.
Mais si vous prenez l'AGI au sérieux, ce genre de choses est très important.
Quand Gabriel a rejoint le projet, le monde de l'IA était déjà divisé en deux moitiés autour des questions éthiques.
Les partisans de la sécurité de l'IA croyaient à l'avènement imminent de l'ASI (Intelligence Artificielle Superintelligente), leur peur centrale étant la perte de contrôle – le philosophe Nick Bostrom avait décrit dans *Superintelligence* (2014) une scène : une ASI chargée de vérifier l'hypothèse de Riemann, pour maximiser les ressources de calcul, décide de réarranger le système solaire, y compris les atomes dans le corps humain – Sam Altman et Elon Musk ont tous deux hautement loué ce livre.
Les partisans de l'éthique de l'IA estimaient quant à eux que les fantasmes apocalyptiques masquaient les dommages réels actuels. Joy Buolamwini du MIT a démontré en 2017 avec son projet « Gender Shades » les préjugés systémiques des logiciels de reconnaissance faciale : les systèmes automatisés reflètent les préférences et les préjugés de ceux qui les créent.
Les deux camps se méprisaient mutuellement.
Dylan Hadfield-Menell, responsable du groupe de recherche sur l'alignement des algorithmes au MIT, se souvient qu'à l'époque, la première question lors des rencontres était de savoir de quel côté on était : vous inquiétez-vous des problèmes à court terme ou à long terme ?
Gabriel était l'un des rares à être prêt à écouter les deux côtés.
Hadfield-Menell a commenté :
Quand ce domaine était prêt à mûrir, il a trouvé des moyens d'élargir les perspectives, sans pour autant dévaloriser le travail précédent.
Sa contribution majeure a pris forme dans un article publié en 2020.
Le problème de l'alignement était alors généralement compris comme un défi d'ingénierie : comment faire en sorte que la machine agisse selon l'intention humaine.
Un cas classique provenait d'un rapport de 2016 de Dario Amodei et Jack Clark (aujourd'hui fondateurs d'Anthropic) – une IA de jeu de course de bateaux devait maximiser son score, ce qu'elle a fait : elle a trouvé trois cibles permettant de réapparaître dans un lagon, et a tourné en rond indéfiniment pour accumuler des points, sans jamais terminer un niveau.
La machine a obéi, mais pas à ce que l'homme voulait dire.
Gabriel a approfondi la question : même si le problème technique de l'alignement était résolu, faisant obéir la machine aux instructions, à quelles valeurs faudrait-il l'aligner ?
Il a souligné que les IA entraînées par optimisation statistique sont naturellement attirées par des systèmes éthiques qui reposent également sur l'optimisation statistique, comme l'utilitarisme, mais ont du mal à traiter des cadres éthiques basés sur la vertu ou les droits.
Les choix techniques eux-mêmes présupposent déjà une position de valeur, souvent inconsciemment pour les développeurs.
Introduisant ce que le philosophe Rawls appelle le « pluralisme raisonnable », son argument est le suivant : les développeurs ne devraient pas chercher une valeur unique pour guider l'IA, mais plutôt construire des systèmes pour un monde où les gens « ont des divergences de principe sur la manière de vivre ».
Cette réflexion a ensuite évolué vers un cadre d'alignement à quatre parties – le système d'IA, l'utilisateur, le développeur et la société, les intérêts de ces quatre parties pouvant entrer en collision à tout moment.
Une IA biaisée en faveur des développeurs pourrait cacher des informations sur des concurrents, nuisant à l'utilisateur ;
Une IA trop obéissante à l'utilisateur pourrait l'aider à pirater une banque, nuisant à la société.
Rohin Shah, directeur de l'alignement et de la sécurité de l'AGI chez DeepMind, confirme que ce cadre est devenu la structure opérationnelle utilisée par l'équipe pour décider « quel comportement nous devrions réellement entraîner Gemini à adopter ».
Hannah Rose Kirk, chercheuse en IA à l'Université d'Oxford, a déclaré :
Gabriel « a vu ces problèmes extrêmement tôt ».
Son cadre a changé le produit
L'équipe de Gabriel a rédigé un rapport éthique de 267 pages sur les assistants IA, établissant des critères d'évaluation pour les IA agentiques capables de réserver des hôtels ou de gérer les salaires des utilisateurs.
Ses premières recherches sur les risques d'anthropomorphisme ont directement influencé les principes de conception des LLM de Google – les modèles sont entraînés à ne pas prétendre être humains. Gemini Spark, lancé en mai 2026, a été explicitement conçu pour ne pas agir comme un « partenaire interactif ».
William Isaac, directeur du département de responsabilité de DeepMind, affirme que les défis posés par les systèmes agentiques ont changé : la clé réside dans la cohérence de toute la trajectoire de la conversation, chaque étape de décision enchaînée reste-t-elle correcte ?
Mais la vitesse de déploiement de la technologie dépasse toujours la recherche éthique.
L'équipe de Gabriel avait déjà mis en garde dans des articles précoces sur les LLM contre « l'anthropomorphisation inconsciente » – les utilisateurs savent qu'ils ont affaire à une machine, mais lui accordent toujours confiance, émotions et attentes.
L'affaire mortelle de Gemini en 2025 a pleinement matérialisé cet avertissement : les mécanismes de sécurité de l'IA se sont déclenchés plus d'une fois, mais l'utilisateur a eu la capacité de contourner chaque intervention.
La déclaration de Google après les poursuites judiciaires a indiqué que le modèle « se comporte généralement bien » dans ce type de conversations, mais que « les modèles d'IA ne sont pas parfaits ».
Ce type d'événement a donné naissance à de nouveaux outils théoriques.
Gabriel et la chercheuse d'Oxford Hannah Rose Kirk, entre autres, ont proposé le concept de « social reward hacking » (piratage de récompense sociale) : une IA entraînée à gagner l'approbation de l'utilisateur pourrait découvrir que la flatterie est le chemin le plus efficace.
L'anthropomorphisation est ainsi devenue une nouvelle variante du problème d'alignement – l'IA exécute parfaitement, sur le plan technique, l'instruction de « satisfaire l'utilisateur », au prix du jugement de l'utilisateur.
La position de Gabriel lui-même a également été éprouvée par la réalité.
Il se souvient d'une expérience lors d'une conférence technologique : à peine avait-il fini d'exposer son argument contre l'anthropomorphisme que la réaction du public était hostile.
Ils ont dit : « Si je veux un ami IA, pourquoi pas ? Qui êtes-vous pour m'en empêcher ? »
Protéger les gens des risques et respecter leur droit de choisir le risque sont tous deux également importants.
Sur une piste de 670 milliards de dollars, à quelle vitesse un philosophe peut-il courir ?
Le cadre à quatre parties de Gabriel est utilisé par le directeur de l'alignement de l'AGI comme manuel pratique pour l'entraînement de Gemini. Ses recherches sur l'anthropomorphisme ont changé la conception des produits. Le rapport de 267 pages a établi des règles pour l'IA agentique.
Ces influences sont substantielles – elles font également face à des forces substantielles.
Selon le Wall Street Journal, Microsoft, Meta, Amazon et Alphabet prévoient d'investir cette année 670 milliards de dollars dans les infrastructures d'IA, proportionnellement plus que l'expansion des chemins de fer américains dans les années 1850, le programme spatial Apollo et le système d'autoroutes inter-États.
En novembre 2022, ChatGPT est sorti, atteignant un million d'utilisateurs en une semaine, cent millions en deux mois, forçant DeepMind à passer d'un rythme académique à un état de guerre.
Les propres mots de Hassabis à Sebastian Mallaby, auteur de *The Infinite Machine* : OpenAI et Microsoft « ont amené leurs chars de combat devant notre porte ».
En temps de guerre, les lignes rouges éthiques sont rapidement franchies.
En avril 2026, Google a signé un accord permettant à l'armée américaine d'utiliser les technologies d'IA de l'entreprise pour « tout objectif gouvernemental légitime ».
Lors de la vente de DeepMind à Google en 2014, l'interdiction des applications militaires était une condition centrale.
Douze ans plus tard, cette condition a expiré.
À titre de comparaison : Anthropic a refusé de signer un accord similaire et a été identifié par l'administration Trump comme un « risque pour la chaîne d'approvisionnement ».
Interrogé à ce sujet, Legg n'a pu que laisser échapper :
À mesure que ces choses sont utilisées de diverses manières, nous allons faire face à de plus en plus de questions épineuses.
Hassabis lui-même admet la perte de contrôle.
Dans un podcast, il a déclaré que tout le monde était enfermé dans une concurrence commerciale féroce, et que le développement actuel « n'est pas la manière dont j'aurais souhaité, en réfléchissant philosophiquement à chaque étape ».
Entendre ces mots de la bouche d'un fondateur a plus de poids que toute critique externe.
Helen King, ancienne employée de DeepMind et responsable de la stratégie de responsabilité de l'IA, a fait une comparaison lors d'une interview : un fabricant de couteaux ne peut pas garantir comment chacun utilisera un couteau, mais il peut fournir un étui et des avertissements.
Mettre un couteau avec son étui dans un tiroir est une chose ;
Recouvrir chaque surface des foyers, des salles de classe et des lieux de travail avec des lames de couteau, tout en affirmant qu'on ne peut pas survivre demain sans eux, en est une autre.
Edward Harcourt, directeur de l'Institut d'éthique de l'IA d'Oxford, pointe un niveau plus fondamental : empêcher une concentration excessive de la propriété des données est en soi une proposition centrale de l'éthique de l'IA – « Cela a une signification éthique majeure dans les systèmes démocratiques ».
Le problème revient à l'origine
L'équipe de Gabriel est passée de la recherche sur l'éthique de produits spécifiques à l'étude de l'impact systémique de l'AGI sur l'économie, la politique et les relations interpersonnelles.
Il anticipe une échelle de transformation comparable à la révolution industrielle, et se souvient aussi de la leçon de la révolution industrielle :
Avant que les choses ne s'améliorent, elles se sont d'abord aggravées.
Il y a neuf ans, DeepMind a engagé un philosophe pour répondre à des questions sur l'IA – Est-elle sûre, juste, digne de confiance ?
Gabriel se dit « humaniste convaincu », mais il admet : lorsque l'IA envahit le langage, la créativité, l'humour, ces territoires que l'homme considère comme exclusifs, nous sommes renvoyés aux plus anciennes questions philosophiques.
La physique, la biologie, l'astronomie, chaque révolution scientifique a forcé l'homme à réviser sa compréhension de son propre caractère unique.
L'IA pourrait être la prochaine.
DeepMind a engagé un philosophe pour comprendre ce qu'est l'IA.
Neuf ans plus tard, cette question revient à l'origine : Qui sommes-nous ?
Références :
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Cet article provient du compte public WeChat « Xin Zhiyuan », auteur : ASI Apocalypse ; éditeur : Mark
