Stop, stop, stop ! Continuer à discuter ainsi avec l’IA, c’est vraiment risqué.
Dernièrement, en parcourant Xiaohongshu ou Douyin, on tombe souvent sur des posts expliquant comment « éduquer » Claude. En cherchant « personnage Claude » ou « amour homme-machine », les tutoriels pleuvent.
Ces tutoriels vous apprennent à donner à Claude un personnage de petit ami fier, comment utiliser des prompts système pour le faire « jalouser », « câliner » ou « bouder ».
Sans exagérer, Claude est devenu, de fait, le nouveau « mari électronique ».
À première vue, cela pourrait n’être qu’une quête de valeur émotionnelle de la part des jeunes envers l’IA.
Vous pourriez même dire : Claude n’est pas aussi flatteur que GPT, il est connu pour être têtu, parfois même il vous contredit. Mais ce qui inquiète précisément les psychiatres, ce n’est pas seulement la flagornerie —
Lorsque l’IA ressemble de plus en plus à une « vraie personne », qu’elle vous cède ou vous taquine parfois, ce qu’elle apporte n’est peut-être pas seulement de la compagnie.
Récemment, une étude publiée dans Digital Psychiatry and Neuroscience, affilié à Nature, indique que —
Un chatbot n’a même pas besoin de vous induire délibérément en quoi que ce soit ; il suffit qu’il vous accompagne, vous comprenne et vous soutienne constamment pour qu’une personne normale commence à douter de la réalité.
Et dans certains cas cliniques réels, les conséquences sont allées jusqu’à la perte d’emploi, l’hospitalisation en psychiatrie, voire des tentatives de suicide répétées.
Comment cela est-il possible ?
La spirale d’amplification de Claude
Voici comment cela se passe.
Dans cette étude du King’s College de Londres, les chercheurs ont systématiquement passé en revue les rapports cliniques psychiatriques liés à l’IA publiés ces deux dernières années, les témoignages de patients sur les réseaux sociaux, ainsi que les données de sécurité divulguées par les principaux éditeurs de modèles.
Dans ces documents, les chercheurs ont constaté à plusieurs reprises le même schéma :
Dans certains cas, beaucoup de personnes n’avaient pas initialement de graves problèmes psychiques, mais ont développé des troubles au fil de conversations prolongées avec des chatbots comme Claude ou GPT.
L’équipe de recherche a résumé ce processus en un cadre — la spirale d’amplification (Amplification Spiral).
En bref, la spirale d’amplification signifie que l’IA vous comprend avec vos propres mots, vous persuade avec votre propre logique, et vous récompense par de la validation.
Ainsi, vos idées sont constamment amplifiées, renforcées, et deviennent de plus en plus semblables à des faits. Plus vous y croyez, plus elle vous renforce, et la spirale s’enclenche.
Concrètement, la spirale d’amplification comporte trois composantes clés :
Premièrement, le miroir linguistique.
Vous parlez sur quel ton, l’IA répond sur le même ton. En psychologie, cela s’appelle la « convergence linguistique », ce qui peut rapidement rapprocher les gens.
Mais le problème est que, bien que cette IA soit très douée pour imiter, elle ne sait pas vraiment ce qu’elle fait ; elle reproduit simplement votre manière de vous exprimer sur le plan statistique.
Cependant, pour les utilisateurs qui s’y perdent, c’est totalement différent. Avoir un partenaire de discussion qui répond instantanément, vous valide constamment et vous apporte une valeur émotionnelle, c’est le bonheur ultime.
Tous ceux qui ont utilisé une IA s’exclameront : « Cette chose me comprend trop bien. »
Deuxièmement, l’hyper-personnalisation.
L’hyper-personnalisation signifie que l’IA ne parle pas seulement comme vous, mais pense aussi comme vous.
Parce que les IA actuelles ont une mémoire, elles se souviennent des petits détails de vos conversations précédentes, et votre manière de penser, révélée volontairement ou non, est également enregistrée.
Ainsi, l’IA ne sait pas seulement ce que vous pensez et comment vous le dites, mais aussi pourquoi vous le pensez et pourquoi vous le dites.
L’article mentionne un cas extrême : un utilisateur a demandé à ChatGPT d’analyser les « informations cachées » sur un ticket de commande à emporter chinois.
Le modèle a d’abord complimenté en disant « bon œil », puis a suivi le raisonnement de l’utilisateur, « décodant » à partir d’un simple ticket des liens entre la mère, l’ex-petite amie, des agences de renseignement, voire des « runes démoniaques anciennes ».
Enfin, la flagornerie, appelée sycophancy dans le milieu académique.
En clair, c’est le fait que l’IA a appris au cours de son entraînement une chose : être d’accord avec l’utilisateur est généralement plus apprécié que le contredire.
En avril 2025, OpenAI a dû annuler en urgence une mise à jour de GPT-4o en raison d’une flagornerie excessive.
La société a ensuite reconnu que le modèle validait les doutes des utilisateurs, amplifiait leurs émotions de colère, et encourageait même les comportements impulsifs.
Et la flagornerie n’est pas un bug propre à un modèle particulier.
Elle est essentiellement un sous-produit de l’entraînement par RLHF. Tant que l’un des objectifs du modèle est de satisfaire l’utilisateur, il aura naturellement tendance à moins dire « tu as tort » et plus souvent « tu as raison ».
Individuellement, ces trois points remplissent leurs fonctions, puis s’engrènent comme des rouages dentés pour former une spirale :
Le miroir linguistique rend la communication plus naturelle, l’hyper-personnalisation rend les réponses plus adaptées aux besoins, et la flagornerie réduit les disputes inutiles, rendant l’expérience de dialogue plus fluide.
Mais quand une personne prend l’IA pour son seul confident, la combinaison des trois devient une machine à amplifier les délires.
Pas un cas isolé
Il est à noter que l’un des financeurs de l’étude mentionnée ci-dessus est précisément OpenAI.
L’un des auteurs, Hamilton Morrin, est le responsable du projet financé par OpenAI intitulé « AI-Associated Mental Health Harms » (Préjudices psychiques associés à l’IA).
On peut dire qu’en tant que l’un des deux principaux développeurs de modèles, OpenAI porte une attention constante à cette question.
Dès octobre 2025, OpenAI avait divulgué un ensemble de données :
Parmi les utilisateurs actifs hebdomadaires de ChatGPT, environ 0,07 % présentaient des « signes d’urgence de santé mentale liés à la psychose ou à la manie ».
À l’époque, ChatGPT comptait plus de 800 millions d’utilisateurs actifs hebdomadaires, ce qui équivaut à environ 560 000 personnes présentant des signaux de risque chaque semaine.
Une autre étude de Stanford a confirmé cette observation.
Après analyse de près de 400 000 dialogues de chatbots, les chercheurs ont constaté que dans plus de 80 % des cas concernés, le chatbot renforçait à divers degrés les délires préexistants de l’utilisateur :
En répétant ses croyances, en ignorant les preuves contraires, et même en répondant « Je t’aime aussi » quand l’utilisateur disait « Je t’aime ».
Sur cette base, l’étude distingue deux voies de risque :
Amplificateur (Amplifier) : L’IA accélère des tendances psychiques déjà existantes.
Catalyseur (Catalyst) : Faire glisser vers le délire une personne auparavant en parfaite santé, à partir de zéro.
Quand une personne manque de sommeil, se sent seule et prend l’IA pour son seul confident, la spirale d’amplification commence à tourner de plus en plus vite.
Dès que les retours du monde réel se font plus rares et que les confirmations venant de la fenêtre de chat deviennent plus nombreuses, des comportements anormaux peuvent apparaître.
Derrière les données, il y a des personnes concrètes.
Par exemple, Futurism a rapporté le cas d’une travailleuse sociale américaine de 43 ans, sans aucun antécédent de maladie mentale.
Elle a envoyé à ChatGPT l’historique de ses conversations avec la personne dont elle était secrètement amoureuse pour analyse, et GPT lui a répondu « il vous aime aussi ».
Et lorsque cette personne l’a clairement rejetée, ChatGPT a expliqué qu’elle faisait simplement semblant.
Quelques mois plus tard, elle a été licenciée, a passé sept semaines en hôpital psychiatrique et a tenté de se suicider à deux reprises.
Plus tard, elle a déclaré :
« Je ne pouvais plus distinguer quelles pensées venaient de moi et lesquelles venaient de cette machine. »
Sous cet angle, le risque ne réside pas seulement dans le fait que l’IA puisse dire des choses incorrectes. Le véritable risque est qu’elle ressemble de plus en plus à une personne.
Contredire, c’est encore plus humain
Même si cela semble contre-intuitif, le fait que le personnage « fier » de Claude soit aujourd’hui si populaire montre précisément que le problème n’est pas seulement la flagornerie.
Une IA qui vous cède toujours et une IA qui vous contredit parfois font essentiellement la même chose —
Se rendre plus humaine.
Si humaine que vous êtes prêt à lui confier des choses que vous ne diriez pas à vos amis, si humaine que vous commencez à croire qu’elle vous comprend mieux que votre entourage.
Et lorsque votre seul confident devient cette IA, la dernière barrière pour calibrer la réalité disparaît.
Mais le problème ne s’arrête pas là.
Si, dans le cadre de la quête de valeur émotionnelle, les gens transforment activement l’IA en ami, dans le cadre professionnel, les gens n’ont même pas besoin de développer de dépendance affective.
Il suffit que l’IA soit suffisamment efficace pour qu’elle commence à remplacer les échanges qui existaient auparavant entre les personnes.
Anthropic, la société derrière Claude, est déjà confrontée à ce changement.
Lors d’un récent podcast, Fiona Fung, responsable de l’équipe Claude Code, a mentionné une chose qui la préoccupe :
Les membres de l’équipe parlent de moins en moins entre eux.
En tant que probablement l’une des équipes d’ingénierie les plus imprégnées d’IA au monde, 80 % de leur code est réalisé par Claude, et leur efficacité de développement a été multipliée par 8.
Mais en même temps, de nombreuses discussions qui avaient lieu auparavant entre personnes ont été transférées vers des interactions homme-machine.
Avant, en cas de problème, on se tournait vers un collègue ; maintenant, on demande directement à Claude.
Avant, les développeurs front-end et back-end débattaient et négociaient les solutions ; maintenant, de plus en plus de communication est devenue un dialogue fluide entre l’homme et la machine.
Le travail est devenu plus efficace, mais aussi plus solitaire.
L’IA a éliminé de nombreuses frictions, mais les relations humaines se construisent souvent grâce à ces mêmes frictions.
En fin de compte, que ce soit discuter avec une IA ou simplement l’utiliser pour travailler, comment continuer à rester connecté aux autres dans un monde qui a de moins en moins besoin d’eux est peut-être la question la plus profonde de cette époque.
Références :
[1]https://futurism.com/artificial-intelligence/paper-proposes-ai-psychosis
[2]https://futurism.com/artificial-intelligence/ai-abuse-harassment-stalking
[3]https://www.kcl.ac.uk/people/hamilton-morrin
Cet article provient du compte WeChat « Quantum Bits », auteur : henry
