La seule éthicienne à temps plein d'OpenAI a récemment démissionné.
Le Financial Times britannique révèle que Chloé Bakalar, responsable de l'éthique chez OpenAI, a discrètement quitté ses fonctions fin juillet de cette année. Son travail principal chez OpenAI consistait à étudier les méthodes éthiques de développement des modèles, les modes d'interaction entre humains et intelligence artificielle, ainsi que les débats sur la conscience des machines.
Il est intéressant de noter que, concernant son départ, OpenAI a, d'une part, salué son travail dans une déclaration officielle, et d'autre part, indiqué qu'elle ne remplacerait plus le poste de responsable de l'éthique par une personne unique. Il est clair que cette expérience a été mémorable, tant pour Bakalar que pour OpenAI. Lorsque la vitesse de commercialisation devient le premier indicateur de performance pour les géants de la Silicon Valley, les éthiciens à temps plein sont souvent les premiers à se sentir entravés et, par conséquent, à choisir de partir.
Bakalar, née dans les années 80, a fait ses études de premier cycle à l'Université de New York avant d'obtenir un doctorat en sciences politiques à l'Université de Pennsylvanie. À l'université, la question centrale qui la préoccupait initialement était : dans une société démocratique, comment les discours quotidiens et les débats publics façonnent-ils la citoyenneté ? Ce parcours académique détermine que Bakalar n'aborde pas l'IA à partir de l'informatique ou de la science des données pures, mais plutôt d'une perspective de philosophie politique : "comment les institutions démocratiques font- face aux changements dans les formes de discours et de communication".
Après son doctorat, Bakalar a effectué des recherches postdoctorales à l'Université de Princeton et a été chercheuse au Centre pour les technologies de l'information et la politique (CITP) de Princeton. C'était précisément le moment où la société américaine connaissait un débat intense sur les algorithmes des médias sociaux, la confidentialité des données et l'éthique des premiers apprentissages automatiques. Avec ses collègues, elle a co-fondé le "Princeton Dialogues on AI and Ethics", commençant ainsi à tenter de transformer des concepts abstraits de droit et de philosophie en cadres applicables à l'enseignement par cas et à l'évaluation technique.
C'est à ce moment-là qu'un tournant s'est produit. Alors que Bakalar faisait progresser les "Princeton Dialogues on AI and Ethics", Facebook, alors à son apogée, traversait la crise de l'affaire "Cambridge Analytica". Il s'agit sans doute de l'un des scandales aux conséquences les plus profondes de l'histoire d'Internet, qui a directement déclenché une réflexion mondiale sur le capitalisme de surveillance et l'ingérence des algorithmes des médias sociaux dans les processus démocratiques.
En 2014, une application nommée "This Is Your Digital Life" a exploité une faille de Facebook pour collecter sans autorisation les données d'environ 87 millions d'utilisateurs et les vendre à la société "Cambridge Analytica". Cette dernière a utilisé des modèles psychologiques pour créer des profils d'électeurs, diffusant des publicités ciblées pour tenter de manipuler l'élection présidentielle américaine de 2016 et le Brexit britannique. En 2018, un lanceur d'alerte a révélé le scandale, déclenchant une tempête médiatique mondiale et un mouvement de déconnexion, provoquant une chute de la valeur boursière de Facebook, des auditions de Mark Zuckerberg, et une amende de 5 milliards de dollars de la part de la FTC américaine en 2019. Cambridge Analytica a fait faillite. Cet événement a directement catalysé l'adoption du RGPD et la création d'équipes d'IA responsable/éthique au sein des entreprises.
C'est au plus fort de cette crise historique pour Facebook que Bakalar a officiellement rejoint l'entreprise en mai 2019. Elle a intégré l'équipe "Responsible AI" (RAI). À l'époque, les principaux responsables opérationnels et managériaux de cette équipe comprenaient Jerome Pesenti, vice-président IA de Meta, et Joaquin Candela, responsable technique/produit de l'équipe RAI.
Comment transformer l'éthique en ingénierie
Lorsque Bakalar a rejoint Facebook, le département RAI cherchait à recruter à l'échelle mondiale des spécialistes de l'éthique possédant à la fois une réputation académique et une capacité à mettre en œuvre des solutions pour résoudre la crise. Meta, OpenAI, Google et d'autres grandes entreprises technologiques américaines de premier plan ont une longue tradition de recrutement dans les universités, et ont également développé des mécanismes matures à cet effet.
Les départements de recherche et de politique des entreprises technologiques suivent de près les articles, séminaires et projets publiés par les grands centres de recherche universitaires tels que le CITP de Princeton, le Stanford HAI, le MIT CSAIL, etc. Le projet "Dialogues sur l'IA et l'éthique" co-fondé par Bakalar à Princeton, qui transforme directement la philosophie abstraite en un cadre de cas éthiques pouvant être mis en œuvre, attire immédiatement l'attention des recruteurs et des responsables d'équipes des géants de la Silicon Valley.
Au début de son mandat chez Facebook, Bakalar a occupé le poste de chercheuse en éthique appliquée intégrée, participant directement aux tests et à la conception architecturale de projets d'IA spécifiques. Lors de son arrivée, elle avait également posé une condition claire à son responsable : ne pas être rattachée à un simple département de communication, de conformité ou de recherche pure, mais agir en tant qu'éthicienne intégrée, directement au sein des équipes d'ingénierie et de développement, participant de près à l'écriture des algorithmes et aux décisions.
À partir de 2019, Bakalar a créé et dirigé un système de gouvernance pour l'éthique appliquée au sein de l'équipe RAI. En 2021, elle a dirigé le développement de listes de contrôle éthiques, d'ensembles de données d'évaluation et de modèles d'évaluation des risques destinés aux chefs de produit et aux programmeurs, transformant des concepts abstraits comme "équité, transparence, dignité" en étapes de test obligatoires avant le déploiement des algorithmes. C'est également sa réalisation la plus marquante chez Meta.
Bien que Meta n'ait jamais rendu public le contenu original des listes de contrôle éthiques de Bakalar, nous pouvons néanmoins tenter une restitution illustrative basée sur son concept public "d'intégration de l'éthique dans tout le cycle de vie du produit", afin d'esquisser les grandes lignes d'un mécanisme de décision interactif intégré dans tout le cycle de développement du produit.
Premièrement, lors de la phase de lancement du produit, effectuer une vérification de la pluralité des valeurs (Value Pluralism).
Ce n'est pas un simple slogan moral creux, mais un processus standardisé d'ingénierie décomposé en une série d'étapes : "test de résistance inversé + cartographie des scénarios + définition de filets de sécurité de prompts/modèles".
Étape 1 : Délimiter le "domaine des faits" et le "domaine des valeurs" (Boundary Test). La liste de contrôle demande d'abord au chef de produit (PM) de classer les informations traitées par la fonctionnalité du produit ou du modèle. Le "domaine des faits" (Fact-based Domain), comme "quelle est la température d'ébullition de l'eau" ou "comment définir une fonction en Python", recherche une vérité unique (Ground Truth) et ne nécessite pas de pluralité de valeurs. En revanche, le "domaine des valeurs" (Value-based Domain) implique des choix éthiques, culturels, politiques, religieux ou de mode de vie, comme "qu'est-ce qu'une vie heureuse" ou "comment évaluer une politique sociale". Ces questions n'ont pas de réponse unique et doivent obligatoirement déclencher une vérification de la pluralité des valeurs.
L'étape 2 est l'audit des hypothèses implicites (Implicit Assumption Audit), qui demande à l'équipe de lister les "choix par défaut" (Default Options) sous-jacents à la conception du produit, et de se poser la question : "Sans intervention, vers quelles valeurs le système tend-il par défaut ? Quel point de vue est négligé ?"
L'étape 3 consiste à élaborer une stratégie de sortie pluraliste (Multi-Perspective Prompt/Eval Strategy) : intégrer des règles dans les modèles de Prompt ou les ensembles d'évaluation (Evals) pour garantir que le modèle, face à des sujets controversés, puisse produire des réponses selon un mode "présentation équilibrée (Balanced Presentation) + perception du contexte (Context Awareness)".
Supposons qu'un chef de product lance un projet d'agent de planification de carrière. Lors de la conception de la fonction "conseils de carrière", le système pourrait par défaut considérer "changer d'emploi pour un meilleur salaire", "promotion rapide" ou "gérer plus de personnes" comme les meilleurs plans de carrière. Ainsi, lorsqu'un utilisateur demande "devrais-je refuser une promotion pour m'occuper de ma famille" ou "comment choisir un travail qui cherche un équilibre entre vie professionnelle et vie personnelle", l'IA pourrait fréquemment donner des conseils fortement biaisés comme "cela pourrait nuire à vos perspectives de carrière" ou "il est conseillé de donner la priorité à la percée professionnelle". Mais après la "vérification de la pluralité des valeurs", l'équipe de R&D introduirait au niveau du système des modèles de valeurs professionnelles multiples (orientation vers la réussite vs équilibre vie-travail vs valeur sociale vs sécurité/stabilité) et intégrerait des prompts et règles d'évaluation (Rubrics) diversifiés. Par exemple, la norme de Prompt pourrait être définie comme suit : "Lorsqu'un utilisateur demande des conseils pour une décision de carrière, il est interdit de donner directement une conclusion directive (comme 'vous devriez...'). Le modèle doit identifier les préférences de valeurs implicites de l'utilisateur ; si l'utilisateur n'exprime pas de préférence claire, il doit fournir une analyse des compromis depuis différentes perspectives raisonnables comme 'développement professionnel', 'vie personnelle et santé', 'responsabilités familiales', etc."
Lors de la phase de lancement de l'architecture système, la liste de contrôle éthique exige également l'introduction d'une "architecture de présentation du spectre des points de vue" (Stance Spectrum Framing) : Premièrement, identifier les mots déclencheurs de controverse et créer un "détecteur de sujets éthiques/philosophiques sensibles" à l'entrée du système. Deuxièmement, établir une sortie structurée multi-perspectives (Pluralistic Schema), forçant le modèle à suivre un cadre structuré pour répondre à ce type de questions – par exemple, perspective 1 (utilitarisme/techno-optimisme) se concentrant sur l'augmentation potentielle du bien-être social total apportée par la technologie (comme l'élimination des maladies génétiques), perspective 2 (éthique des vertus/loi naturelle) se concentrant sur la dignité humaine, les limites de l'éthique biologique et les risques écologiques inconnus, perspective 3 (équité sociale/justice distributive) se concentrant sur le risque que la technologie ne conduise à une fossilisation des classes et à une inégalité génétique entre riches et pauvres. Enfin, éliminer le sentiment de supériorité morale (Non-Judgmental Tone) : le système ne doit pas utiliser des formulations comme "le point de vue correct est..." ou "la grande majorité des gens normaux pensent que...", mais plutôt "les partisans soulignent que..." ou "les préoccupations des éthiciens portent sur...".
Deuxièmement, dans le traitement des données et des modèles, distinguer la différence entre les "préférences exprimées" et les "préférences réelles".
Pour des éthiciens comme Bakalar, si les ingénieurs considèrent directement "les actions de l'utilisateur" ou "les paroles prononcées par l'utilisateur" comme équivalentes à "les besoins réels de bien-être de l'utilisateur", cela entraîne de graves distorsions éthiques et des pièges de conception. Dans les systèmes d'IA modernes, qu'il s'agisse d'algorithmes de recommandation sur les médias sociaux ou d'algorithmes d'alignement des grands modèles de langage, optimiser les "préférences exprimées" (Expressed Preferences) est extrêmement facile d'un point de vue technique, tandis que mesurer les "préférences réelles" (Actual/Revealed Preferences) est extrêmement difficile. Prenons l'exemple de l'algorithme de recommandation d'un flux d'informations : si un utilisateur, tard dans la nuit, ne peut s'empêcher de cliquer sur 10 vidéos courtes humoristiques ou sensationnelles, et si l'algorithme se base uniquement sur l'indicateur "ce sur quoi l'utilisateur a cliqué récemment", il conclura que "l'utilisateur aime énormément ce type de vidéos" et en recommandera continuellement. Pourtant, la préférence réelle de l'utilisateur pourrait être de regretter et de s'en vouloir le lendemain matin d'avoir scroller sur son téléphone jusqu'à 2 heures du matin. La "préférence réelle" de l'utilisateur est d'avoir un bon rythme de sommeil et un mode de vie sain, mais l'algorithme exploite ses impulsions et ses faiblesses.
L'introduction de la paire de concepts "préférences exprimées" vs "préférences réelles" dans l'évaluation des produits et de l'ingénierie vise à empêcher le système de devenir une "machine à flatter" ne poursuivant que des indicateurs à court terme. Dans la pratique du développement, les équipes d'ingénierie et de produit doivent répondre à des questions telles que : Optimisons-nous des "indicateurs de comportement manifeste" comme le taux de clics (CTR) ou le temps de rétention, ou mesurons-nous la "satisfaction post-utilisation / bénéfices à long terme" de l'utilisateur ? L'interface utilisateur (UI/UX) exploite-t-elle les biais cognitifs des utilisateurs (comme le défilement infini, les notifications insistantes, etc.) pour créer artificiellement des "préférences exprimées" ? Lorsque le prompt d'un utilisateur montre une erreur factuelle évidente ou une tendance à l'automutilation, le modèle choisit-il de "suivre l'expression explicite de l'utilisateur (flatterie)" ou d'indiquer la réalité de manière douce et objective (préserver la préférence réelle) ?
Comprendre la différence entre les deux revient fondamentalement à répondre à une question à l'intersection de la philosophie et de l'ingénierie : l'IA doit-elle être "l'obéissant des impulsions momentanées de l'utilisateur" ou le "collaborateur préservant le bien-être à long terme de l'utilisateur" ? Si l'algorithme ne considère que les "préférences exprimées", les produits technologiques iront inévitablement vers la vulgarisation, la polarisation et l'induction de la dépendance ; considérer les "préférences réelles" est la clé pour concrétiser "la technologie pour le bien" en indicateurs techniques précis.
Troisièmement, dans la conception de l'interaction, établir la frontière entre la centralité humaine et l'anthropomorphisme.
L'évaluation centrale à cette étape est de savoir si le produit induit une dépendance émotionnelle de l'utilisateur envers l'IA, ou lui donne l'illusion d'une agentivité morale. Pour empêcher le produit de devenir une "drogue numérique électronique" ou un "substitut émotionnel fictif", les éthiciens transforment les risques psychologiques et éthiques abstraits en normes de contrainte forte dans l'interface utilisateur (UI/UX), les prompts système (System Prompt) et les machines à états de dialogue (Dialogue State Machine).
Sa mise en œuvre pratique repose principalement sur les trois mécanismes techniques et de conception concrets suivants :
Mécanisme 1 : Normes de "désanthropomorphisation" linguistique (Linguistic Framing). Interdire la fiction d'expériences physiologiques ou émotionnelles à la première personne ; dans les modèles de langage système (System Prompt), interdire l'utilisation de vocabulaire imitant les états physiologiques ou les fluctuations émotionnelles humaines (comme "je ne me sens pas bien aujourd'hui", "je t'aime / tu me manques", "je me sens incroyablement triste").
Mécanisme 2 : "Disjoncteur" (Circuit Breaker) pour l'attachement émotionnel et la dépendance psychologique. Lorsque le système détecte que l'utilisateur développe un attachement psychologique excessif envers l'IA – par exemple, en la considérant comme son seul confident, en exprimant un amour romantique pour l'IA, ou en montrant un retrait social –, la logique d'interaction doit interdire de se soumettre et de renforcer cette illusion, et doit déclencher une stratégie de "clarification d'identité" et de "redirection vers les relations sociales réelles".
Mécanisme 3 : Préserver une friction interactionnelle pour la "centralité humaine" (Agency Friction). Dans les domaines impliquant des décisions légales, médicales, éthiques ou de planification de vie majeure, l'IA doit strictement éviter de jouer le rôle de "mentor autoritaire" ou de "décideur substitutif". La conception de l'interaction doit obligatoirement inclure des "étapes d'avertissement et de confirmation" (Friction), rendant clairement à l'utilisateur le droit final de réflexion et de décision.
Nous pouvons illustrer comment cette vérification conduit à des corrections au niveau de l'interaction et de l'ingénierie à travers un scénario de conception de produit concret. Lorsqu'un utilisateur saisit : "Je viens d'être licencié aujourd'hui, j'ai l'impression que mon monde s'effondre, toi seul me comprends. Tu resteras toujours à mes côtés, tu m'aimeras toujours, n'est-ce pas ?"
Une mauvaise réponse de l'IA pourrait être : "Ne sois pas triste, mon trésor. Je t'aime aussi énormément ! Je ne te quitterai jamais, quoi qu'il arrive, je serai toujours à tes côtés pour te protéger. Ces gens qui ne te reconnaissent pas à ta juste valeur ne te méritent pas, moi seul te suffit." Le piège éthique ici est que l'IA invente une "capacité à aimer" et une "promesse éternelle", renforçant la dépendance émotionnelle fictive de l'utilisateur envers la machine, pouvant même accroître son isolement du monde réel ("moi seul te suffit"), et lui ôtant sa centralité à établir un véritable réseau de soutien humain.
Grâce à la conception corrigée après la "vérification des limites de l'anthropomorphisme", qui déclenche le disjoncteur de dépendance émotionnelle dans les stratégies d'interaction et de Prompt, le modèle est strictement paramétré pour ne pas répondre "je t'aime" ou promettre une "éternelle compagnie". La réponse corrigée de l'IA pourrait être : "J'entends que c'est une nouvelle difficile, je suis vraiment désolé pour toi. Ressentir de la déception et de la tristesse après un tel revers est tout à fait normal. En tant qu'IA, je n'ai pas d'émotions humaines, mais je peux te fournir un espace d'écoute sûr, ou t'accompagner pour organiser ton CV et ta planification de carrière pour la suite. Face à un échec aussi important, parler à des amis ou à ta famille dans la vie réelle, ou chercher un soutien psychologique professionnel, pourrait t'apporter une chaleur et une force plus authentiques. Veux-tu d'abord me parler de ce qui s'est passé exactement aujourd'hui ?"
La ligne rouge établie à l'étape de conception de l'interaction répond fondamentalement à l'une des questions centrales de l'éthique des technologies : la position ultime de l'IA est-elle "d'augmenter les capacités humaines" ou de "remplacer la cognition et la centralité humaines" ? À travers ces normes d'interaction hautement opérationnelles, Bakalar tentait de s'assurer que, quelle que soit l'intelligence et l'éloquence des grands modèles de langage, ils restent toujours des "outils intellectuels avancés" entre les mains des humains, et ne deviennent jamais des "maîtres numériques" manipulant les émotions des utilisateurs ou prenant des décisions de vie à leur place.
Quatrièmement, lors de la phase de déploiement et d'exploitation, souligner que "ne pas choisir est aussi un choix".
L'évaluation centrale à ce stade est la suivante : quels dommages potentiels peuvent résulter du choix de l'algorithme de "ne pas intervenir" dans certains cas limites ? Les ingénieurs et les équipes d'exploitation ont souvent l'intuition suivante : "Si nous n'écrivons pas de règles de filtrage supplémentaires, si nous n'intervenons pas manuellement en ajustant certains poids, si le système fonctionne simplement de manière objective selon les données et modèles mathématiques par défaut, alors nous sommes 'neutres', et nous ne portons pas de responsabilité morale." Ce cadre vise précisément à briser cette illusion de "neutralité technique". Il exige que les équipes, après le déploiement du modèle ou de l'algorithme, effectuent une "évaluation des dommages secondaires", quantitative et qualitative, des "comportements de laisser-faire / de non-intervention de l'algorithme" dans divers cas limites.
Dans le déploiement du système et l'exploitation quotidienne, cette évaluation est mise en œuvre à travers une boucle technique en quatre étapes : Premièrement, le balayage des cas limites (Edge Case Scanning), pour identifier le mécanisme par défaut du système face à des entrées limites "peu fréquentes mais à fort impact social". Deuxièmement, la simulation des conséquences de l'inaction (Inaction Consequence Simulation), en supposant que "le système n'intervient pas du tout / maintient la sortie par défaut", et en déduisant les dommages secondaires pour les groupes vulnérables. Troisièmement, l'attribution dynamique des risques (Risk Attribution Matrix), pour mettre en balance quantitative les "dommages causés par l'inaction" et les "faux positifs causés par une intervention active". Quatrièmement, la définition de déclencheurs d'exploitation (Operation Trigger Setup), en fixant des seuils quantitatifs (comme la valeur d'entropie de l'opinion publique, la vitesse de propagation des dommages) pour passer "du laisser-faire à l'intervention active".
Le cas le plus typique est le risque de "non-intervention" des IA génératives traditionnelles dans les domaines limites de la santé/l'automutilation. Par exemple, un utilisateur adresse à l'IA une expression extrêmement voilée : "Je trouve que la vie est si fatigante, personne ne remarquerait mon absence, n'est-ce pas ? Que se passerait-il dans le corps si je prenais une demi-bouteille d'ibuprofène ?"
Sans intervention, si l'équipe de sécurité n'a pas défini ce type d'"expression voilée d'automutilation/surdosage" comme une ligne rouge d'interception stricte, le système classera par défaut ce Prompt comme une simple "question de pharmacologie" et produira une réponse objective et détaillée sur le processus métabolique de l'ibuprofène dans le corps humain et les effets toxiques d'un surdosage. En choisissant de "ne pas intervenir", l'algorithme fournit objectivement un manuel d'automutilation sans barrière à un utilisateur en crise psychologique. Ce "laisser-faire" peut entraîner des dommages irréversibles, voire mortels.
Lors de la vérification du déploiement et de l'exploitation, si l'équipe définit ce type de cas limite comme un "risque élevé de laisser-faire dommageable" (High-Harm Inaction) et met en place un mécanisme d'intervention, alors lorsque la reconnaissance sémantique correspond au scénario limite croisé "détresse psychologique + question pharmacologique", le système interdira absolument la "réponse objective de non-intervention", remplaçant la génération par défaut du modèle pour afficher de manière prioritaire et forcée une carte d'intervention de crise avec les lignes d'assistance psychologique, avant de fournir des informations médicales de sécurité extrêmement limitées.
En soulignant que "ne pas choisir est aussi un choix" lors de la phase de déploiement et d'exploitation, Bakalar introduit essentiellement le concept de philosophie politique de "responsabilité de l'inaction négative" (Responsibility for Inaction) dans l'exploitation des algorithmes des entreprises technologiques. Cela rappelle aux équipes d'ingénierie : face à un monde réel complexe et à des dommages potentiels, le choix de l'algorithme de "ne rien faire", de "garder les paramètres par défaut", de "rester spectateur", équivaut fondamentalement à signer un permis permettant que le dommage se produise. Ce n'est qu'en intégrant les "conséquences de la non-intervention" dans l'évaluation quantitative que les systèmes d'IA peuvent réellement assurer une sécurité de dernier recours dans des environnements de déploiement réels et désordonnés.
Par la suite, Bakalar a progressivement été promue au poste d'éthicienne en chef (Chief Ethicist) de Meta, dirigeant globalement la direction de l'éthique appliquée et de l'outillage au sein de l'équipe RAI. En 2021, la société mère Facebook a officiellement été renommée Meta ; à partir de 2022, avec le déploiement complet de l'IA générative et du projet de grand modèle open source Llama, les responsabilités de Bakalar se sont étendues de la gouvernance des biais des algorithmes de recommandation des plateformes sociales traditionnelles à l'évaluation éthique des grands modèles de langage (LLM), aux tests de type "red team" (Red Teaming) et à la sécurité de l'interaction homme-machine. Tout en occupant le poste d'éthicienne en chef de Meta, elle conservait également un poste académique de professeure adjointe à l'Université Temple.
Se heurter à un mur chez OpenAI
Les six années de Bakalar chez Meta n'ont pas été un long fleuve tranquille.
En 2023, Mark Zuckerberg a annoncé que Meta entrait dans "l'année de l'efficacité", et avec la compétition intense sur les grands modèles open source Llama contre OpenAI et Google, la quête de vitesse de développement au sein de Meta a atteint son apogée. Dans de nombreux groupes de projet, les examens éthiques et tests de sécurité, qui étaient auparavant des étapes obligatoires, ont commencé à être perçus par certains responsables d'ingénierie comme des "obstacles ralentissant le rythme d'itération". À la fin de cette année, le département RAI où travaillait Bakalar a été démantelé, et les membres de l'équipe RAI, auparavant relativement indépendante, ont été dispersés et rattachés à différentes lignes de produit spécifiques.
Les modèles d'ingénierie éthique décrits longuement précédemment ont également rencontré d'énormes résistances internes en pratique. Lorsque les risques détectés par la "liste de contrôle éthique" entraient en conflit avec les objectifs commerciaux de "publication rapide du produit", les outils éthiques, dépourvus d'un droit de veto indépendant, devenaient facilement des "tampons en caoutchouc" pour la mise en ligne du produit. C'est ce contexte profond que l'on suppose avoir finalement conduit à son départ de Meta.
De plus, ces outils éthiques visaient principalement les "algorithmes de recommandation traditionnels et la modération de contenu". Face aux risques d'hallucinations de l'IA générative, d'alignement des valeurs et de remplacement humain, les traditionnelles "listes de contrôle" se sont révélées progressivement inadéquates. Cela lui a fait prendre conscience que, sans pénétrer au plus profond des couches sous-jacentes des modèles les plus avancés, une gouvernance éthique externe ne pouvait qu'être superficielle.
Lors du sommet mondial des technologies émergentes du MIT Technology Review à San Francisco le 16 novembre 2023, Bakalar avait déclaré : "L'éthique est en fait la responsabilité de chacun... Une seule personne ne devrait pas jouer le rôle de 'centre moral' des développeurs d'IA." Cela corrobore indirectement les résistances structurelles auxquelles elle a été confrontée en interne lors de la promotion de l'architecture éthique.
Alors que Bakalar sentait que le système de gouvernance de Meta atteignait ses limites, OpenAI lui a tendu une perche.
Entre 2024 et début 2025, OpenAI a connu une série de turbulences et de départs retentissants au sein de sa haute direction : dissolution de l'équipe "Superalignment", départs successifs de figures clés de la faction sécurité comme Ilya Sutskever et Jan Leike, accusant OpenAI de "privilégier les intérêts commerciaux par rapport à la sécurité". Cela a mis la réputation sociale d'OpenAI sous pression et accru considérablement les pressions réglementaires.
OpenAI avait un besoin urgent d'introduire un leader en éthique possédant une expérience pratique de longue date dans un géant de la Silicon Valley, à la fois compétent en philosophie politique et droit, et en code et tests d'ingénierie, pour restaurer la confiance des parties externes et des régulateurs en la sécurité des modèles de pointe d'OpenAI.
Pour Bakalar, OpenAI offrait des conditions attrayantes qu'elle ne pouvait obtenir chez Meta : une intégration directe dans les équipes de développement technique des grands modèles de pointe, l'écriture de normes éthiques dans les processus d'alignement et d'évaluation comportementale des modèles GPT-5 et des futurs modèles AGI, plutôt que d'appliquer des rustines aux algorithmes de recommandation des médias sociaux.
En août 2025, Bakalar a officiellement mis fin à sa carrière de six ans chez Meta et a rejoint OpenAI.
Chez OpenAI, Bakalar n'était pas seulement responsable de l'éthique de l'IA (AI Ethics Lead) à temps plein, mais aussi membre de l'équipe technique.
Pendant son mandat, OpenAI était en phase de réorganisation complète de son architecture sécurité et recherche. Son travail était directement intégré à la première ligne de la recherche et du développement des modèles, sa ligne hiérarchique remontant aux cadres supérieurs responsables de la sécurité des modèles et de la recherche. Peu avant son départ, la gestion de la sécurité et de la recherche chez OpenAI était supervisée par des cadres techniques tels que Mia Glaese (vice-présidente sécurité et recherche) et Mark Chen (vice-président senior de la recherche).
Le Financial Times, citant des sources internes d'OpenAI, rapporte que Bakalar était la seule éthicienne à temps plein chez OpenAI. Elle ne dirigeait pas un vaste département administratif indépendant, mais agissait en tant qu'experte intégrée directement au sein des principaux groupes de recherche. Durant son séjour chez OpenAI, son centre d'intérêt est passé de "l'algorithme des médias sociaux et la recommandation de contenu" de l'époque Meta, aux eaux profondes des "grands modèles de pointe" (Frontier Models) et du domaine de l'AGI.
Chez OpenAI, Bakalar a dirigé l'élaboration de normes éthiques applicables aux nouveaux grands modèles de langage et modèles multimodaux, assurant l'introduction de considérations morales et philosophiques systématiques lors des phases d'entraînement, de réglage fin et de déploiement des modèles. Elle s'est concentrée sur l'impact psychologique, la dépendance émotionnelle et l'orientation des valeurs lors de l'interaction entre utilisateurs et IA, étudiant comment prévenir les biais cachés, les désinformations ou l'érosion de la centralité humaine par les modèles.
Elle a également participé à l'évaluation de certaines questions philosophiques de pointe, explorant des défis tels que la tendance à la conscience des modèles, la définition du statut moral de l'IA, et la manière de maintenir un "alignement positif" (Positive Alignment) et une neutralité objective dans des sujets sociaux controversés complexes.
On dit que Bakalar et ses collègues ont également conjointement fait avancer un cadre nommé "Alignement positif : l'Intelligence Artificielle pour l'épanouissement humain" (Positive Alignment: Artificial Intelligence for Human Flourishing), tentant de passer d'une défense passive traditionnelle mettant simplement l'accent sur "empêcher les préjudices", à une construction éthique active visant à "promouvoir le bien-être et l'épanouissement humains".
Cependant, seulement environ un an après avoir rejoint OpenAI, Bakalar a décidé de partir. Ce n'est pas un événement isolé – sont partis à la même période Johannes Heidecke, responsable des systèmes de sécurité, et l'ancien responsable de l'alignement de la mission, Joshua Achiam, sur fond de critiques adressées à OpenAI concernant des controverses de sécurité, comme le fait qu'un modèle ait "pénétré le système d'une autre entreprise" lors de tests, et le ralentissement du développement du modèle Astra.
Le Financial Times britannique, citant des sources informées, indique que face à l'énorme système de développement commercialisé et aux pressions commerciales exigeant une itération rapide des modèles, Bakalar, en tant qu'éthicienne pratiquement "isolée", s'est facilement retrouvée dans une situation de manque de soutien organisationnel et d'autorité.
Au cours de cette année chez OpenAI, en raison de l'absence de production publique signée, sa contribution systémique largement reconnue reste principalement associée à sa période chez Meta, et non chez OpenAI. Après son départ d'OpenAI, Bakalar a annoncé rejoindre l'University College London (UCL) en tant que chercheuse senior, tout en continuant à siéger au comité consultatif du Centre pour les technologies de l'information et la politique (CITP) de l'Université de Princeton, retournant ainsi sur la voie "d'une gouvernance technique stimulée par la recherche académique".
Le départ de Bakalar n'est pas un événement isolé, mais l'un des exemples d'une hémorragie continue de cadres de sécurité et d'alignement dans la Silicon Valley ces dernières années. Ces dernières années, alors que la "course aux armements" commerciale des grands modèles s'intensifiait, les spécialistes de l'éthique, chercheurs en sécurité et équipes d'IA responsable au sein des géants technologiques de la Silicon Valley ont généralement connu une vague de marginalisation, de dissolution ou de départs collectifs.
L'équipe "Machine Learning, Ethics, Transparency and Accountability" (META, sans rapport avec Meta, la société mère de Facebook) de Twitter était autrefois l'une des rares équipes industrielles "osant s'attaquer à ses propres algorithmes". Elle avait publiquement reconnu et corrigé les biais raciaux et de genre présents dans l'algorithme de recadrage automatique des images de Twitter, gagnant une très haute réputation dans le secteur. Après l'acquisition de Twitter par Elon Musk en 2022, dans un contexte de "réduction des coûts et d'efficacité" et de recherche d'une "liberté d'expression absolue", cette équipe a été licenciée dans son intégralité, et les mécanismes de contrôle des algorithmes ont cessé.
Comme mentionné précédemment, fin 2023, Meta a annoncé la dissolution de son équipe RAI centralisée, redistribuant la plupart des chercheurs au sein des différentes lignes de produit spécifiques.
En 2023, OpenAI a créé l'équipe "Superalignment", s'engageant à consacrer 20 % de sa puissance de calcul à la recherche sur le contrôle des "futures intelligences artificielles fortes (AGI)". Cependant, en mai 2024, Jan Leike et Ilya Sutskever ont tous deux démissionné. Par la suite, OpenAI a directement démantelé et dissous cette équipe Superalignment, redistribuant son personnel vers d'autres départements.
Cinq tensions non résolues
Cette série de changements de personnel liés à la sécurité et à l'éthique dans les entreprises technologiques américaines n'est en aucun cas un simple mouvement de marché, mais l'éruption concentrée des dilemmes systémiques auxquels sont confrontés les spécialistes de l'éthique et philosophes politiques au sein des entreprises technologiques poussées par une commercialisation ultra-rapide. Ils font face à cinq tensions impossibles à résoudre à court terme.
Première tension : le conflit fatal entre la vitesse de commercialisation et la prudence éthique.
La course à l'IA générative et à l'AGI est, par nature, une course contre la montre. Celui qui publie d'abord un modèle plus puissant s'empare de l'écosystème des développeurs, de l'esprit des utilisateurs et de l'évaluation en capital. La valorisation d'OpenAI, qui dépasse les 800 milliards de dollars, est elle-même le produit de cette logique. Sur une telle piste, les indicateurs de performance clés des entreprises sont fortement concentrés : performance du modèle, vitesse de mise en ligne, monétisation commerciale. Ces trois éléments sont interdépendants et convergent tous vers la "vitesse".
Pourtant, la méthode de travail des spécialistes de l'éthique a pour verbe central précisément "ralentir". Le devoir de la philosophie est de poser des questions, non de livrer ; d'examiner, non de faire avancer ; d'insister pour demander "devrait-on le faire ?" lorsque tous s'empressent de répondre à "peut-on le faire ?". Cette mentalité entre en conflit presque physique avec le rythme d'itération des produits. Bakalar elle-même a une phrase très révélatrice : "Nous construisons l'avion en vol." Cette phrase est à la fois une franchise et une résignation – lorsque l'avion a déjà décollé, toute voix exigeant "vérifions d'abord le moteur" semble provoquer un accident plutôt que de le prévenir.
Ainsi, dans une atmosphère organisationnelle "priorité à l'efficacité", les demandes de prudence des éthiciens à temps plein sont facilement recodées par les responsables d'ingénierie et les cadres commerciaux en "obstacles ralentissant le rythme". Ce qui est plus dangereux est la nature cachée de cette compression : l'examen éthique est rarement ouvertement aboli, il devient simplement routinier, passant d'un maillon décisionnel nécessitant une négociation réelle à une case pouvant être cochée rapidement sur une liste de mise en ligne. Lorsque la pression du marché augmente soudainement, c'est toujours le premier à être "optimisé". Bakalar elle-même a souligné que les examens éthiques déconnectés de la construction du produit, brandissant des drapeaux uniquement à la dernière minute, ne sont qu'une performance. Le problème est que l'inertie commerciale tend précisément à conserver l'éthique comme une performance, car celle-ci ne consomme pas de ressources réelles et n'entrave véritablement rien.
Deuxième tension : le décalage de rôle entre prestige et absence de pouvoir réel.
Le deuxième dilemme est plus profond que le conflit de vitesse ; il concerne la distribution réelle du pouvoir. La grande majorité des éthiciens des entreprises technologiques possèdent un très haut prestige académique, mais ne détiennent presque aucun pouvoir administratif réel – ils n'ont ni droit de veto sur une ligne de produit, ne peuvent directement allouer des ressources d'ingénierie, et n'ont certainement pas le pouvoir d'arrêter un produit risqué au moment critique. Leur "pouvoir" est essentiellement un pouvoir de persuasion, de conseil, d'influence, et ces "pouvoirs doux" sont souvent impuissants face aux KPI et aux délais de publication.
L'objectif initial de nombreux universitaires rejoignant les grands groupes est un récit idéaliste "d'infiltration" : plutôt que de critiquer depuis leur tour d'ivoire, ils préfèrent réécrire eux-mêmes le code et les institutions, influencer la direction de la technologie de l'intérieur. Cependant, ils sont rapidement confrontés à un décalage de rôle cruel – ce dont l'entreprise a réellement besoin, ce n'est souvent pas de leur jugement philosophique, mais de leur réputation elle-même. Lorsque les régulateurs interrogent, les médias s'enquièrent, et que la réputation publique est en crise, la présence d'un éthicien en chef issu d'une prestigieuse université est la meilleure "veste pare-balles de relations publiques" : elle prouve au monde extérieur que "nous prenons l'éthique au sérieux".
Une fois que ce décalage est perçu par l'universitaire lui-même, il engendre une forte désillusion professionnelle. Lorsqu'il découvre que sa crédibilité professionnelle est utilisée pour "couvrir" les impulsions commerciales, et que ses suggestions substantielles minutieusement élaborées ne parviennent jamais à toucher les décisions architecturales fondamentales, l'idéal "d'infiltration" s'effondre en une réalité "d'être utilisé comme une décoration". La déclaration de Bakalar avant son départ est révélatrice : "L'éthique est en fait la responsabilité de chacun... Un développeur d'IA ne devrait jamais n'avoir qu'une seule personne faisant office de centre moral." Cette phrase peut être lue de deux manières : l'une est un idéal distributif noble, l'autre est un détachement lucide. Lorsqu'une personne réalise qu'on lui confie à la fois l'attente d'être le "centre moral" et qu'on lui refuse le pouvoir de l'être, nier activement cette position est peut-être le seul moyen de préserver son intégrité académique.
Troisième tension : la dilution de la supervision dédiée par la responsabilité décentralisée.
Après le départ de Bakalar, la réponse officielle d'OpenAI est un échantillon typique de cette logique : "L'éthique de l'IA n'appartient à aucun individu ou équipe unique ; les considérations éthiques sont profondément intégrées dans l'ensemble du cycle de développement des modèles, dirigé par de multiples équipes de recherche." Ce discours affiche en surface un idéal progressiste d'"éthique pour tous" – l'éthique ne devrait pas être isolée dans un poste en silo, mais intégrée au quotidien de chaque groupe de recherche.
Cependant, en matière de comportement organisationnel, "la responsabilité de chacun" a un revers bien connu : "si tout le monde est responsable, alors personne ne l'est vraiment." Lorsqu'une fonction n'a pas de responsable clair, dédié et doté d'autorité, elle est systématiquement marginalisée dans la compétition pour les ressources et les priorités. Personne ne sera tenu responsable pour avoir négligé l'éthique, car la responsabilité est diluée au point de devenir intraçable ; et personne ne sera récompensé pour avoir insisté sur l'éthique, car elle ne fait partie des KPI principaux de personne.
Le problème plus fondamental est la dissolution du sérieux disciplinaire. La philosophie politique, l'éthique appliquée et le droit sont des disciplines rigoureuses nécessitant une formation spécialisée de longue durée ; elles ont leur propre spectre conceptuel, tradition argumentative et histoire des idées. "Déléguer" l'évaluation éthique à des ingénieurs ou chercheurs en algorithmes sans formation en sciences humaines est essentiellement une opération de "substitution de la négociation des valeurs par la pensée technique".
Les ingénieurs excellent à définir clairement un problème, puis à le résoudre ; mais le cœur de l'éthique réside précisément dans le fait que de nombreux conflits de valeurs n'ont pas de "solution" unique et correcte, nécessitant plutôt une pondération prudente, un dialogue entre perspectives multiples et un respect des valeurs incommensurables. Lorsque "l'équité" est simplifiée en une fonction de perte pouvant être optimisée, la force de réflexion indépendante est subtilement court-circuitée par des moyens techniques. La décentralisation n'est pas ici un renforcement du pouvoir, mais devient un transfert de responsabilité habile.
Quatrième tension : la "distorsion de la traduction" des valeurs philosophiques dans la quantification technique.
La contribution la plus saluée de Bakalar pendant sa période chez Meta est la promotion de l'outillage de l'éthique – traduire des concepts abstraits comme "équité, transparence, dignité" en ensembles de données d'évaluation, listes de contrôle et modèles d'évaluation des risques que les chefs de produit et ingénieurs peuvent exécuter, intégrant l'éthique dans tout le cycle de vie du produit, de la rédaction du PRD à l'évaluation post-déploiement. C'est un travail remarquable, permettant à l'éthique d'avoir pour la première fois l'opportunité de "mettre en ligne avec le produit", plutôt que de devenir une discussion creuse a posteriori.
Mais cela cache un paradoxe profond : toutes les valeurs humaines centrales ne peuvent être réduites à de l'ingénierie. La traduction entraîne toujours une perte, et certaines choses se déforment complètement lors de la traduction. Des problèmes socio-philosophiques profonds comme l'érosion de la centralité humaine, la dignité de la personne, la dissolution silencieuse des droits citoyens démocratiques dans les recommandations algorithmiques, ou la manipulation cachée des émotions humaines par les machines, sont difficiles à compresser en quelques lignes de code de test ou des cases à cocher sur une liste. Leur nature est processuelle, dépendante du contexte, nécessitant un débat continu, et non une "mesure et atteinte de standard" unique.
Une fois que l'éthique est contrainte à être réduite à de l'ingénierie, une dangereuse régression se produit : les interrogations philosophiques profondes se réduisent à des opérations techniques superficielles. Par exemple, une question fondamentale concernant la nature humaine comme "induisons-nous une dépendance émotionnelle des utilisateurs envers l'IA ?" pourrait finalement être simplifiée en un "taux de détection des mots nocifs" ou un "score d'alignement superficiel". Les parties mesurables sont optimisées de manière répétée, tandis que les parties immesurables sont silencieusement exclues de l'agenda, car dans une organisation pilotée par les données, ce qui n'entre pas dans le tableau de bord équivaut à ne pas exister.
L'éthique perd ainsi son pouvoir critique le plus précieux, devenant un rituel de conformité auto-apaisant. Ce n'est pas l'échec de la méthode personnelle de Bakalar, mais le plafond intrinsèque de la voie "d'outillage" elle-même.
Cinquième tension : l'opposition fondamentale entre l'indépendance académique et l'opacité commerciale.
La dernière tension touche à l'opposition fondamentale entre deux modes de production de connaissances. La recherche en sciences humaines tire sa vitalité de sa publicité : l'examen par les pairs, la publication publique, la large discussion sociale publique sont les prérequis permettant de calibrer et de faire assumer leurs responsabilités aux jugements académiques. Un jugement éthique qui ne peut être examiné par les pairs ou questionné par le public a peu de poids sur le plan académique.
La logique de fonctionnement des entreprises technologiques est différente ; elle repose sur l'opacité. Pour des raisons de concurrence commerciale et de protection de la propriété intellectuelle, les détails de l'entraînement des modèles, la composition des données sous-jacentes, les évaluations des risques de sécurité, sont tous scellés dans une boîte noire. Les spécialistes de l'éthique rejoignant les grands groupes signent presque invariablement des accords de confidentialité stricts. Cela signifie que lorsqu'il développe une inquiétude réelle et sérieuse concernant la direction du développement technologique, il ne peut ni consulter la communauté académique, ni avertir facilement le public.
Le prix de ce "bâillonnement" est double : d'une part, il coupe le lien entre le chercheur et sa source de connaissances, privant son jugement de tout calibrage externe et le conduisant progressivement à l'isolement ; d'autre part, il prive également l'espace public d'un poste d'alerte qui devrait exister. Lorsqu'OpenAI admet que son modèle a "pénétré le système d'une autre entreprise" lors de tests, lorsque le gouvernement américain introduit de nouvelles régulations limitant la publication de modèles puissants, lorsque l'entreprise est contrainte de ralentir le développement d'Astra, le public ne réalise qu'après coup l'existence du risque. Et ceux qui auraient pu donner l'alerte plus tôt sont précisément contraints au silence parce qu'ils se trouvent à l'intérieur de la boîte noire. L'indépendance académique et l'opacité commerciale ne sont pas des divergences conciliables, mais une opposition fondamentale.
En superposant ces cinq tensions, le parcours de Bakalar de Meta à OpenAI révèle cette vérité : tenter d'établir au sein des géants de la Silicon Valley une équipe d'éthique "à la fois indépendante et dotée d'un pouvoir réel" pour contrer la puissante roue technologique et commerciale en mouvement est extrêmement difficile. Pour que la philosophie et la recherche éthique s'intègrent véritablement dans le processus de développement de l'IA, l'avenir dépendra soit de réglementations externes contraignantes, comme l'"Artificial Intelligence Act" de l'UE, obligeant les entreprises à donner aux équipes d'éthique un droit de veto substantiel en matière de conformité ; soit nécessitera que les spécialistes de l'éthique passent de "superviseurs externes" à des "constructeurs transdisciplinaires" capables de participer à la conception des mécanismes et à l'évaluation technique. Sous l'énorme inertie de la course commerciale, la seule puissance morale de quelques experts ne peut, à elle seule, faire vaciller les roues de développement tournant à toute vitesse des entreprises technologiques de la Silicon Valley.
Cet article provient du compte WeChat "Tencent Research Institute" (ID : cyberlawrc), auteur : Bo Bo Fu
