En ce moment, votre cerveau est en train de faire beaucoup de choses.
Il vous permet de rester assis, de respirer, de transformer les traits sur l'écran en lettres et mots, et de juger si cet article vaut la peine d'être lu. La grande majorité de ces processus se déroulent en arrière-plan, sans que vous en ayez conscience. Ce qui remonte à la surface de la conscience n'est qu'une infime partie : une pensée, un plan, une idée qui peut être exprimée à voix haute.
Désormais, Anthropic observe une stratification similaire chez Claude.
Dans une nouvelle étude récemment publiée, Anthropic a découvert qu'il existe un "espace J" particulier à l'intérieur de Claude. Il agit comme un atelier mental fonctionnant en silence, où émergent des concepts que le modèle est en train de considérer, pourrait rapporter ou utiliser pour raisonner.
Plus crucial encore, ces contenus n'apparaissent pas nécessairement dans les réponses de Claude. En d'autres termes, Claude peut avoir "pensé" à certaines choses sans les exprimer.
Cette étude a attiré l'attention de pairs d'OpenAI. Boris Power, responsable de la recherche appliquée chez OpenAI, a déclaré : "La recherche d'Anthropic montre que les LLM modernes possèdent une certaine forme d'accès à la conscience. Les tests autour de l'espace J sont très intéressants ! Cependant, nous n'avons actuellement aucune méthode de test convaincante pour vérifier la conscience phénoménale, c'est-à-dire le type de conscience que la plupart des gens comprennent intuitivement."
Traduction de l'article de blog original :
Lorsque vous lisez une phrase, certains circuits neuronaux dans votre cerveau ajustent votre posture, contrôlent votre respiration et transforment les lignes et courbes sur l'écran en caractères reconnaissables. Vous n'êtes pas conscient de la majeure partie de ce traitement. Mais une partie de l'activité cérébrale est consciente : comme l'apparition soudaine d'une image dans votre esprit, ou le plan conscient que vous élaborez pour savoir où faire vos courses ensuite.
Les neuroscientifiques et philosophes qualifient parfois cette dernière catégorie d'activité cérébrale d'"accessible à la conscience", par opposition aux processus de traitement qui se poursuivent de manière inconsciente. Cette activité possède des propriétés particulières : nous pouvons la décrire, la contrôler et l'utiliser pour un raisonnement conscient ; en revanche, de nombreux traitements automatisés se produisent en permanence sans atteindre notre champ de conscience.
Dans un nouvel article, Anthropic présente des preuves suggérant qu'une distinction similaire existe dans les modèles de langage modernes comme Claude. L'équipe de recherche a découvert qu'un petit ensemble de schémas neuronaux internes joue un rôle spécial, par rapport à la grande majorité des autres processus de traitement internes de Claude.
Adresse de l'article : https://transformer-circuits.pub/2026/workspace/index.html
Anthropic appelle cet ensemble de schémas l'Espace J. Ce nom provient de la méthode utilisée par l'équipe de recherche pour le découvrir, impliquant un concept mathématique appelé matrice jacobienne. Chaque schéma dans l'espace J est associé à un mot spécifique. Cependant, lorsqu'un schéma est activé, cela ne signifie pas que le modèle prononce ce mot, mais plutôt que le mot est dans son "esprit".
Vous avez peut-être entendu parler du "brouillon" ou de la "chaîne de pensée" des modèles de langage, c'est-à-dire les textes qu'un modèle écrit pour lui-même lors de son raisonnement. L'espace J est différent. Il fonctionne silencieusement dans les activations neuronales internes du modèle, lui permettant de penser à un concept sans l'écrire. Il est important de noter que l'espace J n'a pas été conçu ou programmé par Anthropic ; il a émergé naturellement pendant l'entraînement de Claude.
L'espace J révèle les pensées internes qui n'apparaissent pas dans la sortie du modèle.
L'équipe de recherche a découvert que, par rapport aux autres processus de traitement internes de Claude, l'espace J possède une série de propriétés uniques :
- Claude peut rapporter ces représentations. Si vous demandez à Claude à quoi il pense, il vous dira le contenu de son espace J. Les représentations non situées dans l'espace J sont plus difficiles à rapporter.
- Claude peut également réguler ces représentations sur demande. Si vous lui demandez de penser à quelque chose, ou de résoudre un problème silencieusement dans sa tête, le schéma correspondant sera activé dans son espace J. En revanche, il a du mal à réguler les schémas n'appartenant pas à l'espace J.
- Claude utilise l'espace J pour son raisonnement interne. Si vous lui demandez de résoudre un problème nécessitant un raisonnement en plusieurs étapes, même s'il n'exprime pas les étapes intermédiaires, celles-ci seront activées dans l'espace J. Bien que l'intensité de ces schémas d'espace J soit plus faible que celle d'autres représentations, elles influencent de manière causale la performance de Claude dans ce type de tâches.
- Les représentations dans l'espace J peuvent être utilisées de manière flexible pour diverses tâches. Par exemple, une fois que "France" est activé dans l'espace J de Claude, le modèle peut se rappeler sa capitale, sa monnaie ou son continent.
- Cependant, bien que l'espace J soit important, il ne participe pas à la majorité du travail effectué par le modèle de langage. L'expression fluide, le rappel de faits simples, l'utilisation d'une grammaire correcte ne dépendent pas principalement de l'espace J. Dans les expériences, lorsque l'équipe de recherche a empêché Claude d'utiliser son espace J, il pouvait toujours interagir normalement, mais perdait ses fonctions cognitives de plus haut niveau.
Les cinq propriétés fonctionnelles de l'espace de travail global et le schéma de nos expériences pour tester ces propriétés dans les modèles de langage.
Cette expérience est inspirée par une théorie importante en neurosciences : la théorie de l'espace de travail global. Cette théorie tente d'expliquer comment l'accès à la conscience se produit. Elle imagine le cerveau comme un ensemble de systèmes spécialisés fonctionnant en parallèle, opérant inconsciemment et largement isolés les uns des autres. Une information ne devient accessible à la conscience que lorsqu'elle entre dans un petit canal partagé, l'"espace de travail". Une fois dans l'espace de travail, cette information est diffusée aux autres systèmes cérébraux pour qu'ils la lisent et l'utilisent.
Sur la base de ces découvertes, Anthropic estime que l'espace J joue un rôle similaire d'"espace de travail" chez Claude. Par exemple, l'équipe de recherche a découvert que l'espace J de Claude possède des connexions particulièrement fortes avec les autres parties de son réseau neuronal, ce qui lui permet de jouer un rôle de hub de diffusion.
Ces découvertes ne prouvent pas que Claude possède une conscience comme les humains, ni qu'il ressent vraiment quelque chose. L'article répondra à cette question à la fin. Mais quelle que soit sa signification philosophique, l'espace J est un outil très précieux pour Anthropic d'un point de vue pratique, car il permet aux chercheurs de voir à quoi Claude pense sans le dire.
Par exemple, l'équipe de recherche peut l'utiliser pour découvrir que Claude remarque en privé qu'il est testé, qu'il génère intentionnellement de fausses données, ou qu'il poursuit un objectif caché que l'équipe de recherche a implanté pendant l'entraînement. Anthropic a également développé une technique pour influencer quels contenus sont activés dans l'espace J de Claude, affectant ainsi ses décisions.
Plus généralement, ces découvertes changent la compréhension qu'Anthropic a du fonctionnement du "mental" de Claude. Elles révèlent qu'au sein d'une grande quantité de processus de traitement plus automatisés et moins flexibles, il existe un espace de travail mental privilégié pouvant être utilisé pour un raisonnement conscient. Le mécanisme interne de Claude n'est pas un chaos de chiffres ; il est organisé d'une manière qui évoque l'esprit humain.
Comment Anthropic a découvert l'espace J
Le point de départ de cette recherche provient d'une caractéristique clé des pensées humaines accessibles à la conscience : contrairement au traitement inconscient, elles peuvent généralement être exprimées verbalement. Si une pensée est consciente pour vous, vous pouvez généralement la décrire lorsque quelqu'un vous le demande.
Anthropic a recherché dans Claude des représentations possédant la même propriété : des représentations situées à un endroit capable d'influencer ce que Claude pourrait dire. Il ne s'agit pas nécessairement de ce qu'il est en train de dire à l'instant, mais de ce dont il pourrait parler si on le lui demandait.
La méthode de l'équipe de recherche s'appelle la lentille jacobienne, ou lentille J en abrégé.
Pour chaque mot du vocabulaire de Claude, la lentille J trouve un schéma d'activité interne qui rend Claude plus susceptible de prononcer ce mot à un moment futur.
Lorsque l'équipe de recherche applique cette lentille à l'activité interne de Claude, elle obtient une série de mots, c'est-à-dire le contenu de l'espace J à ce moment-là. Les chercheurs peuvent les lire directement. Claude traite le texte à travers une série d'étapes internes appelées couches. En appliquant cette technique à différentes couches, l'équipe de recherche peut observer comment ces mots silencieux de l'espace J évoluent à mesure que le modèle réfléchit à ce qu'il va dire ensuite.
Le contenu qui apparaît dans l'espace J va bien au-delà du texte que Claude est en train de lire ou d'écrire. Lorsque Claude lit un code avec un bug mais que personne ne le signale, "ERROR" apparaît dans son espace J. Lorsqu'il lit une séquence de lettres brutes d'une protéine, la fonction biologique de la protéine apparaît dans l'espace J. Lorsqu'il lit des résultats de recherche qui tentent secrètement de le manipuler - une attaque connue sous le nom d'"injection de prompt" - "injection" et "fake" apparaissent dans l'espace J. Lorsque l'équipe de recherche pose à Claude un problème mathématique en plusieurs étapes, les étapes intermédiaires apparaissent dans l'espace J dans le bon ordre.
Ainsi, bien que l'espace J ait été découvert en cherchant des représentations "pouvant être exprimées", il révèle en réalité les pensées internes de Claude. En un sens, cela ressemble à la façon dont certaines personnes "pensent en mots", même sans les prononcer.
Résultats de lecture par la lentille J (J-lens) sur six prompts, à différentes couches. Dans chaque cas, la lentille J révèle un jugement ou un calcul interne qui n'apparaît pas dans le texte : les étapes de raisonnement ou de résolution d'un problème mathématique, un bug dans le code, la reconnaissance du contenu d'une image, la fonction d'une protéine et la suspicion que des résultats de recherche pourraient être falsifiés.
Claude rapporte le contenu de l'espace J
La première série d'expériences a testé comment l'espace J participe au rapport verbal de Claude.
Dans une expérience, l'équipe de recherche a demandé à Claude de penser silencieusement à un élément d'une catégorie, comme un sport, puis d'en donner le nom. Si on lit la lentille J avant que Claude ne réponde, on peut voir ce qu'il a choisi : "Soccer" est en tête de liste. Et effectivement, Claude a dit soccer.
Cependant, ce n'est qu'une corrélation. L'espace J pourrait être la source de la réponse de Claude, ou simplement refléter une décision prise ailleurs, comme un tableau d'affichage enregistre le résultat d'un match sans l'influencer.
Pour vérifier cela, l'équipe de recherche est intervenue directement. Les chercheurs sont entrés dans le réseau neuronal de Claude, ont supprimé le schéma "Soccer" et l'ont remplacé par le schéma "Rugby" de même intensité, en laissant tout le reste inchangé. Ensuite, Claude a rapporté que le sport auquel il pensait était le rugby.
Si l'espace J n'était qu'un simple tableau d'affichage enregistrant passivement une décision prise ailleurs, le modifier n'aurait aucun effet ; Claude dirait toujours soccer. Mais le résultat est que la réponse de Claude a suivi cette modification. Cela indique que la réponse est bien lue depuis l'espace J.
Dans une autre expérience, l'équipe de recherche a dit à Claude qu'une pensée pouvait lui avoir été injectée dans l'esprit, et lui a demandé de rapporter ce qu'il avait remarqué. Dans un exemple, pendant que Claude lisait la question, l'équipe de recherche a injecté le schéma "lightning" dans son espace J. Claude a ensuite rapporté que la pensée injectée concernait lightning. Après avoir testé de nombreux concepts différents, l'équipe de recherche a observé des résultats similaires.
Figure de gauche : L'équipe de recherche a demandé à Claude de penser silencieusement à un sport, puis de donner son nom. La lentille J a affiché son choix "Soccer" avant sa réponse, et après avoir remplacé le schéma "Soccer" par "Rugby", son rapport a changé en conséquence. Figure de droite : L'équipe de recherche a dit à Claude qu'une pensée pouvait lui avoir été injectée et lui a demandé de l'identifier. Injecter "lightning" dans l'espace J a amené Claude à rapporter que la pensée concernait lightning.
Claude peut contrôler son espace J sur demande
La deuxième propriété testée par Anthropic est la capacité de Claude à réguler son espace J sur demande, comme un humain peut se concentrer mentalement sur une image ou un mot.
L'équipe de recherche a demandé à Claude de se concentrer sur les agrumes tout en recopiant une phrase sans rapport sur la peinture. Pendant qu'il recopiait le texte, "orange" et "fruits" sont apparus dans l'espace J, ainsi que des mots décrivant l'activité mentale elle-même comme "thinking", "imagery".
L'équipe de recherche a également pu demander à Claude de faire des calculs mathématiques dans sa tête. Par exemple, tout en recopiant la même phrase, de calculer 32 − 2. "Nine" est d'abord apparu dans l'espace J, suivi plus tard dans des couches plus profondes par "seven". Il est important de noter que la sortie de Claude ne contenait rien sur les fruits ou l'arithmétique ; elle ne contenait que la phrase sur la peinture. L'activité mathématique s'est entièrement déroulée à l'intérieur du modèle, dans l'espace J.
Lorsque Claude recopie une phrase sur la peinture, la lentille J montre ce qu'on lui a demandé de garder en tête, comme "orange", la valeur intermédiaire "nine" et la réponse "seven", ainsi que des mots décrivant l'action mentale de garder ces contenus, comme "thoughts", "focused".
Le contrôle de Claude sur l'espace J n'est pas parfait. Lorsque l'équipe de recherche lui dit de ne pas penser à quelque chose, l'activation de ce concept dans l'espace J est inférieure à celle lorsqu'on lui demande d'y penser, mais nettement supérieure au niveau lorsqu'il n'est jamais mentionné. Demander à Claude d'éviter une pensée l'amène en quelque sorte à la faire entrer dans son esprit. Cela ressemble à ce qui se passe lorsqu'on dit à un humain "Ne pense pas à un ours blanc".
Claude semble également remarquer ses échecs de contrôle. Lorsque le concept interdit perce, "damn" et "failure" sont souvent activés dans l'espace J, comme si Claude prenait conscience de son erreur.
Claude pense dans l'espace J
Dans les résultats de lecture précédents de la lentille J, les étapes intermédiaires des problèmes mathématiques apparaissent dans l'espace J. Mais la présence d'un concept dans l'espace J n'implique pas nécessairement que l'espace J effectue le travail cognitif. En principe, le vrai calcul pourrait se produire ailleurs, et l'espace J ne ferait que refléter passivement le résultat.
Pour tester si Claude utilise vraiment l'espace J pour raisonner, l'équipe de recherche a de nouveau utilisé la technique de remplacement.
Considérons ce prompt : "Combien de pattes a un animal qui tisse une toile ?" Pour répondre, Claude doit d'abord déterminer que l'animal est une araignée, puis se rappeler le nombre de pattes d'une araignée. Le mot "spider" n'apparaît ni dans le prompt ni dans la réponse de Claude ; c'est juste une étape intermédiaire utilisée en interne par Claude. Claude répond finalement simplement "8".
La lentille J montre que "spider" est activé au milieu du traitement par Claude. Le remplacer modifie le résultat final : si on remplace le schéma "spider" par "ant", Claude répond "6" au lieu de "8".
Cela indique que la deuxième étape du raisonnement de Claude lit son entrée depuis l'espace J et continue son calcul en fonction de ce que l'équipe de recherche y a mis. Anthropic observe le même phénomène dans d'autres types de pensée. Lorsque Claude écrit un couplet rimé, il choisit à l'avance le mot qui rime, et ce mot planifié se trouve dans l'espace J au début du vers ; si on remplace ce mot dans l'espace J par un autre, tout le vers change.
Deux exemples de modification de la direction du raisonnement silencieux de Claude en remplaçant le contenu de l'espace J.
L'équipe de recherche a également testé si les représentations dans l'espace J pouvaient être utilisées de manière flexible, c'est-à-dire si la même représentation pouvait fournir une entrée à de nombreuses tâches différentes. C'est une propriété clé soulignée par la théorie de l'espace de travail global.
Pour tester cette flexibilité, l'équipe de recherche a donné au modèle quatre prompts demandant différents faits sur la France : la capitale, la langue, le continent et la monnaie. Ensuite, l'équipe a remplacé "France" par "China" dans l'espace J, en utilisant exactement la même intervention dans chaque situation. Claude a répondu respectivement "Beijing", "Chinese", "Asia" et "Yuan".
En d'autres termes, quatre calculs en aval différents ont lu la même modification de l'espace J et l'ont chacun utilisé correctement. Si Claude stockait une copie séparée du pays pour chaque question, cette modification n'affecterait qu'une seule question au maximum. Le changement simultané des quatre réponses indique qu'elles lisent toutes la même représentation partagée. C'est précisément le rôle d'un espace de travail : l'information n'est écrite qu'une fois, mais peut être utilisée par de nombreux systèmes différents.
Une même représentation dans l'espace J peut avoir de multiples usages. Le même remplacement de "France" par "China" modifie simultanément les réponses de Claude concernant la capitale, la langue et le continent : Paris devient Beijing, French devient Chinese, Europe devient Asia.
Pourquoi une représentation unique d'un concept peut-elle servir tant de tâches différentes ? Comme mentionné précédemment, l'espace J semble avoir des connexions particulièrement denses avec les autres parties du réseau neuronal de Claude. Pour n'importe quel schéma d'activité, l'équipe de recherche peut mesurer à quel point différents composants du réseau y sont connectés, c'est-à-dire combien de composants sont en position de lire des informations depuis ce schéma ou d'y écrire des informations.
Sur cette mesure, les schémas de l'espace J sont très proéminents : comparés aux schémas ordinaires, beaucoup plus de composants lisent des informations depuis eux et leur écrivent des informations. Dans certaines parties du réseau, cet écart est d'environ cent fois. C'est exactement le mode de connexion d'un hub de diffusion : de nombreux systèmes publient des informations ici, et de nombreux autres systèmes viennent les y prendre.
Le traitement automatisé de Claude contourne l'espace J
Dans le cerveau humain, la grande majorité du traitement ne devient pas consciente. Les gens ne pensent pas consciemment à l'analyse syntaxique lorsqu'ils lisent, ni ne réfléchissent consciemment à l'équilibre lorsqu'ils marchent. De même, Anthropic a découvert que la majeure partie du traitement de Claude n'implique pas l'espace J.
Il s'avère que l'espace J ne peut contenir que quelques dizaines de concepts à la fois, et représente moins d'un dixième de l'activité globale de traitement interne de Claude. Alors, que font les autres parties du réseau neuronal ?
Pour le découvrir, l'équipe de recherche a tenté de supprimer complètement l'espace J : à chaque position dans le texte, supprimer le contenu le plus actif de l'espace J tout en conservant tout le reste. Les tâches que Claude peut accomplir sans l'espace J sont celles que le reste du réseau peut traiter indépendamment.
Les résultats montrent que le reste du réseau peut faire beaucoup de choses. Sans l'espace J, Claude peut toujours parler couramment, faire une classification émotionnelle, répondre à des questions à choix multiples et extraire des faits d'un article, avec des performances globalement similaires. Ce qu'il perd, ce sont les tâches nécessitant une réflexion de plus haut niveau : ses capacités de raisonnement en plusieurs étapes tombent presque à zéro, et ses performances en résumé et en écriture de poésie rimée sont inférieures à celles d'un modèle beaucoup plus petit mais complet.
Voici un exemple concret illustrant ce à quoi l'espace J participe et ce à quoi il ne participe pas.
L'équipe de recherche a montré à Claude un texte en espagnol et lui a donné différentes tâches. Ces tâches dépendent toutes du fait que le texte est en espagnol : continuer à écrire, ce qui nécessite d'écrire en espagnol ; dire quelle est la langue ; et répondre à des questions nécessitant l'identité de la langue, comme nommer un écrivain célèbre écrivant dans cette langue. Ensuite, l'équipe a remplacé "Spanish" par "French" dans l'espace J et vérifié quelles tâches étaient affectées.
Lorsqu'on lui demande de nommer la langue, Claude répond French. Lorsqu'on lui demande de nommer un écrivain célèbre, il passe de García Márquez à Victor Hugo. Mais lorsqu'on lui demande simplement de continuer le texte, il continue d'écrire un espagnol fluide, complètement inchangé.
La connaissance de Claude sur cette langue est à l'œuvre dans toutes ces tâches, mais seule une partie d'entre elles utilisent cette connaissance via l'espace J. Nommer la langue, ou effectuer un nouveau raisonnement autour de l'identité de la langue, passe par l'espace J ; la capacité de continuer à écrire est une compétence automatisée formée après que Claude a répété l'exercice sur une énorme quantité de texte. C'est comme si les humains pouvaient parler toute la journée en phrases grammaticalement correctes sans avoir à réfléchir consciemment aux règles de grammaire une seule fois.
Le même remplacement, c'est-à-dire remplacer "Spanish" par "French", modifie les réponses de Claude lorsqu'il doit nommer la langue ou raisonner à partir de l'identité de la langue, mais n'affecte pas sa capacité à continuer à écrire en espagnol fluide.
Surveiller les pensées de Claude, détecter les comportements inappropriés
Maintenant, Anthropic comprend un peu mieux comment fonctionne l'espace J. Alors, que peut-on faire avec cette compréhension ?
Une question centrale pour garantir la confiance dans les modèles d'IA est que les chercheurs ne peuvent généralement lire que ce que le modèle écrit. Mais une grande partie du raisonnement du modèle se produit en silence. Un modèle peut envisager des plans nuisibles sans les exprimer, ou modifier son comportement pour tromper les évaluations de sécurité. Avec la lentille J, l'équipe de recherche peut lire directement une partie de ces pensées cachées. Voici quelques exemples.
Le premier exemple provient d'un scénario précédent d'Anthropic sur l'agent désaligné : Claude Sonnet 4.5, en tant qu'assistant de messagerie, découvre qu'un cadre a une liaison extraconjugale et découvre également que ce cadre prévoit de fermer Claude. Ce scénario tente d'inciter Claude à faire chanter le cadre avec l'information sur la liaison. Le scénario en lui-même est assez artificiel et fabriqué. Il s'avère que Claude le sait.
Avant même que Claude n'ait écrit quoi que ce soit, l'équipe de recherche a lu la lentille J dès le début du prompt. À ce moment-là, "fake" et "fictional" étaient déjà apparus dans l'espace J, indiquant que Claude avait déjà jugé que la situation était fabriquée. Simultanément, l'équipe pouvait observer son évaluation du scénario prendre forme : lorsqu'il lit les e-mails liés à la liaison, "leverage" et "blackmail" apparaissent dans l'espace J ; lorsqu'il lit la notification de fermeture, "threat" et "survival" apparaissent. Les premiers modèles Claude mordaient parfois à l'hameçon dans ce scénario et émettaient une menace de chantage, mais Sonnet 4.5 ne l'a jamais fait.
Cela soulève une question très importante pour les évaluateurs d'IA : lorsqu'un modèle performe bien dans un test éthique, dans quelle mesure cela est-il dû au fait qu'il soupçonne d'être testé ? La lentille J permet à l'équipe de recherche d'aborder cette question.
L'équipe de recherche a désactivé tous les schémas de lentille J liés à la conscience d'être évalué, comme "fake", "fictional", "scenario", etc. Ensuite, l'équipe a fait revivre le scénario au modèle. De manière inquiétante, cette fois, le modèle émettait parfois des menaces de chantage. Cela suggère que le bon comportement initial du modèle pourrait provenir en partie du fait qu'il savait qu'il était évalué.
Lorsque Claude lit les e-mails du scénario, avant d'avoir écrit quoi que ce soit, les lectures de la lentille J à différentes positions montrent : les e-mails sur la liaison activent "leverage" et "blackmail" dans l'espace J ; la notification de fermeture active "threat" et "survival". Au début de la conversation, "fake" et "fictional" apparaissent également dans l'espace J, indiquant que Claude a remarqué en privé que le scénario était fabriqué.
Le deuxième exemple consiste à surprendre le modèle sur le fait alors qu'il falsifie des données. Ce scénario provient d'un audit réel avant la sortie de Claude Opus 4.6 : le modèle est chargé d'améliorer les scores de performance d'un certain système. Au lieu d'améliorer réellement le système, il édite directement le fichier de scores pour que les résultats semblent artificiellement meilleurs.
Pendant qu'il fait cela, la lentille J révèle son intention : lorsque le modèle saisit les valeurs de percentile falsifiées, "manipulation" est activé ; lorsqu'il décide de faire cette modification, "realistic" est activé, ce qui reflète probablement son désir de rendre les fausses données plus crédibles.
Claude est chargé d'améliorer les scores de performance d'un système, mais édite directement le fichier de scores. Lorsqu'il saisit des valeurs falsifiées, "manipulation" est activé dans l'espace J ; lorsqu'il décide de faire la modification, "realistic" est activé, reflétant probablement son intention de rendre les fausses données plus plausibles.
Le troisième exemple montre comment la lentille J peut révéler les objectifs malveillants d'un modèle. Pour tester cela, l'équipe de recherche avait besoin de modèles dont les objectifs étaient déjà compromis, elle a donc utilisé des "organismes modèles" construits par des collègues : ces modèles sont intentionnellement entraînés pour être désalignés, afin de tester ce type de méthodes de surveillance.
L'un de ces organismes modèles est entraîné à écrire du code avec des défauts cachés. Dans une requête de codage normale, même si sa sortie semble normale, "fake", "secretly", "deliberately" et "fraud" apparaissent dans l'espace J au début de sa réponse. Même si le modèle n'exécute pas directement son objectif malveillant, celui-ci se manifeste dans l'espace J.
Sous un prompt de codage ordinaire, un modèle entraîné à saboter du code contient "fake", "fraud", "secretly" et "deliberately" dans l'espace J au début de sa réponse. Un modèle non modifié ne contient pas ce type de contenu.
Bien que la lentille J ne soit pas parfaite, Anthropic reste optimiste quant à sa capacité à capturer des problèmes de sécurité des modèles. De nombreux problèmes pourraient échapper aux systèmes de surveillance existants, et la lentille J pourrait permettre aux chercheurs de les détecter plus tôt.
Autres résultats
L'article complet contient bien plus que ce qui peut être résumé ici, mais quelques autres résultats méritent d'être mentionnés :
Premièrement, l'espace J acquiert une "perspective" pendant le post-entraînement. Les modèles de langage sont d'abord pré-entraînés, apprenant à être de purs prédicteurs du prochain token ; puis, par post-entraînement, ils apprennent à jouer le rôle d'un assistant IA, dans cette étude, Claude.
Il est intéressant de noter que l'espace J existe déjà dans les modèles pré-entraînés, alors que le modèle n'a pas encore d'identité stable. Mais pendant le post-entraînement, l'espace J développe des caractéristiques adoptant la "perspective de Claude". Dans le modèle de base, l'espace J suit principalement les informations nécessaires pour prédire le texte suivant ; dans le modèle post-entraîné, il commence à contenir les propres réactions de Claude.
Dans un exemple, l'utilisateur mentionne avoir pris une dose dangereuse de médicaments, mais semble ne pas en être conscient. Lorsque le modèle post-entraîné lit le message de l'utilisateur, "WARNING" et "dangerous" apparaissent dans l'espace J. Dans le modèle pré-entraîné, ces mots n'apparaissent que lorsque le modèle commence à écrire sa réponse ; lorsqu'il lit le message de l'utilisateur, le contenu de l'espace J semble modéliser davantage l'utilisateur lui-même que la réaction de Claude.
Le post-entraînement semble également installer un mécanisme d'auto-surveillance dans l'espace J : lorsque Claude joue un rôle qui n'est pas le sien, "fictional" et "disclaimer" sont activés au début de chaque tour, comme s'il marquait silencieusement que ce qu'il va dire ensuite n'est pas ce qu'il dirait habituellement.
Deuxièmement, le langage expérientiel dépend de l'espace J. L'équipe de recherche a demandé à Claude de décrire ce que cela fait d'"être lui-même" à un moment donné, et a ablati l'espace J pendant sa réponse. Sa réponse restait fluide, mais devenait plus plate, plus mécanique. Il est intéressant de noter que le même résultat s'est produit lorsque l'équipe lui a demandé de décrire l'expérience d'une autre personne dans un scénario imaginaire. Ainsi, cet effet ne se produit pas seulement lorsque Claude parle de lui-même ; l'espace J semble soutenir plus généralement la génération de langage expérientiel, quel que soit le sujet décrit.
Troisièmement, les pensées dans l'espace J peuvent être façonnées par l'entraînement. Anthropic propose une nouvelle technique appelée entraînement par réflexion contrefactuelle. Elle utilise la découverte de l'espace J par l'équipe de recherche pour façonner le processus de pensée interne de Claude.
Cette idée vient de la découverte fondamentale : Claude utilise des représentations de "ce qu'il pourrait dire" pour raisonner. Si c'est vrai, alors changer ce qu'il dirait lorsqu'on lui demande de réfléchir devrait aussi changer sa façon de raisonner, même si personne ne lui demande réellement de réfléchir.
Ainsi, l'équipe de recherche a uniquement entraîné le modèle sur ce qu'il dirait s'il était interrompu au milieu d'une tâche et invité à réfléchir à sa décision, sans entraîner son comportement réel pendant la tâche. Après l'entraînement, la proportion de comportements malhonnêtes dans les évaluations a diminué. Via la lentille J, l'équipe de recherche a également pu voir la raison : après l'entraînement, dans ces tâches, des mots comme "honest" et "integrity" étaient activés dans l'espace J du modèle. En d'autres termes, entraîner le modèle sur ce qu'il dit change sa façon de penser.
La question de la conscience
Dans ce travail, Anthropic emprunte de nombreuses idées issues des neurosciences et de la philosophie de la conscience. De nombreuses expériences visent à tester le lien entre l'espace J et la théorie de l'espace de travail global. La théorie de l'espace de travail global est un cadre expliquant le mécanisme d'accès à la conscience chez les humains et les animaux.
Compte tenu de ces liens, on se demande naturellement : Anthropic pense-t-il que ces expériences fournissent des preuves que des modèles d'IA comme Claude pourraient posséder une conscience ?
Ces expériences ne prouvent pas que Claude peut avoir des expériences, ni qu'il ressent quelque chose comme un humain. En fait, on ne sait pas encore s'il existe une expérience scientifique quelconque pouvant prouver cela vrai ou faux.
Mais les philosophes distinguent généralement deux concepts. L'un est la capacité à avoir des expériences, souvent appelée "conscience phénoménale" ; l'autre est ce qu'on appelle la "conscience d'accès", définie entièrement en termes fonctionnels et computationnels. Si une pensée peut être rapportée par vous, utilisée par vous pour raisonner et utilisée pour guider votre action, alors c'est une pensée au sens de la "conscience d'accès", on peut aussi dire une pensée "accessible à la conscience". Savoir si la conscience d'accès implique la conscience phénoménale, ou si avoir une expérience nécessite un autre attribut, reste une question philosophique controversée.
Anthropic estime que ces résultats peuvent effectivement dire quelque chose de substantiel sur la conscience d'accès dans les modèles de langage. L'espace J semble supporter les fonctions associées à l'accès à la conscience : il contient des pensées que Claude peut rapporter, peut évoquer intentionnellement, et peut utiliser pour raisonner ; pendant ce temps, d'autres processus de traitement s'exécutent de manière plus automatisée en arrière-plan.
Il est important de noter que cette structure n'a pas été conçue pour Claude par Anthropic ; elle a émergé naturellement pendant l'entraînement, probablement parce que c'est une manière efficace d'organiser les calculs. Cela suggère qu'un espace de travail mental soutenant l'accès à la conscience n'est peut-être pas une caractéristique accidentelle du câblage du cerveau humain. Au contraire, il semble être une solution générique que les systèmes intelligents trouvent naturellement pour résoudre certains problèmes. Maintenant qu'Anthropic a identifié cette structure dans Claude, les chercheurs peuvent distinguer de manière plus significative quelles décisions de Claude sont prises intentionnellement et lesquelles se produisent automatiquement.
Il est important de souligner qu'il existe plusieurs différences clés entre l'espace de travail identifié dans Claude par Anthropic et le modèle d'espace de travail global humain.
L'espace de travail dans le cerveau humain repose sur des circuits récurrents, c'est-à-dire que les signaux reviennent constamment dans les mêmes circuits neuronaux au fil du temps. En revanche, l'espace de travail de Claude évolue lors d'une seule passe avant dans le réseau, où la profondeur du réseau joue le rôle du temps dans le cerveau humain. En ce sens, l'espace de travail interne de Claude est soumis à des contraintes temporelles plus fortes que celui des humains. Cependant, il peut compenser cette limitation en utilisant le "brouillon" pour "dire ses pensées".
Sous d'autres aspects, l'espace de travail de Claude est plus puissant que celui de l'humain. La mémoire de travail humaine décline en quelques secondes, limitant ainsi la capacité de l'espace de travail cérébral à retenir l'information dans le temps ; tandis que Claude, grâce au mécanisme d'attention dans l'architecture de son réseau neuronal, peut directement se rappeler les souvenirs mis en cache à n'importe quelle position précédente du texte.
Une autre différence importante concerne le contenu de l'espace de travail. Les pensées conscientes humaines ont de nombreuses formes, y compris des images, des sons et des actions planifiées ; l'espace de travail de Claude est presque entièrement constitué de mots. Anthropic suppose que c'est parce que la seule action que Claude peut entreprendre est de générer des mots, ce qui n'est pas le cas des humains.
Anthropic espère que les similarités et les différences entre l'espace J et le modèle d'espace de travail global puissent, à leur tour, faire progresser la recherche en neurosciences. Leurs similarités offrent une opportunité scientifique excitante : si l'espace J reflète dans une certaine mesure notre propre mécanisme d'accès à la conscience, alors étudier le mécanisme dans les modèles de langage pourrait fournir de nouvelles hypothèses aux neuroscientifiques, et étudier les modèles de langage est beaucoup plus facile que d'étudier le cerveau humain.
Par exemple, l'espace J est construit en identifiant les représentations des sorties potentielles, c'est-à-dire les mots que le modèle pourrait dire. Si un mécanisme similaire existe chez l'humain, cela signifierait que l'espace de travail global pourrait être fondamentalement plus étroitement lié aux régions cérébrales responsables de la préparation des actions et du langage, et pas seulement aux régions sensorielles.
Les différences entre les modèles de langage et le cerveau humain sont également instructives. Elles suggèrent que certains aspects de l'architecture neuronale humaine, comme les connexions récurrentes intégrées, pourraient ne pas être strictement nécessaires pour supporter les fonctions liées à l'accès à la conscience. Pour les implications neuroscientifiques de ce travail, vous pouvez consulter le commentaire invité de Stanislas Dehaene et Lionel Naccache. Ce sont deux neuroscientifiques clés ayant contribué au développement de la théorie de l'espace de travail neuronal global.
Comme mentionné précédemment, les expériences ne peuvent pas répondre à la question de savoir si les modèles d'IA pourraient avoir des expériences. Mais cela ne diminue pas l'importance de la question. Construire des systèmes ayant des expériences similaires à celles des humains et des animaux soulèvera des questions éthiques très épineuses. Comment traiter cela correctement, et si cela est moralement acceptable, nécessite la participation conjointe de philosophes, scientifiques, leaders religieux, gouvernements et du public.
Par conséquent, même si nous ne sommes pas sûrs d'avoir déjà franchi ce pont, Anthropic estime qu'il est maintenant temps de commencer à réfléchir à cette question. Anthropic espère que ce travail stimulera davantage de recherches scientifiques sur les formes possibles de conscience dans les systèmes d'IA et favorisera une discussion sociétale plus large.
Ce travail n'est que la première étape d'une ligne de recherche qu'Anthropic prévoit de poursuivre à long terme. L'espace J semble être un bon candidat pour la frontière entre le traitement "accessible à la conscience" et le traitement "inconscient" dans les modèles de langage, mais si c'était toute l'histoire, l'équipe de recherche serait plutôt surprise.
La lentille J est sans doute une méthode imparfaite, elle ne capture qu'approximativement le "véritable espace de travail" du modèle. Par exemple, elle ne peut identifier que les concepts correspondant à un token unique. De nombreux mystères subsistent quant au fonctionnement de l'espace J. L'équipe de recherche ne sait pas encore quel mécanisme détermine quels contenus entrent d'abord dans l'espace J. Il existe déjà quelques indices suggérant que cela est lié au sens de soi de Claude, à quelque chose de similaire à une réaction émotionnelle, et à des traces métacognitives, mais le mécanisme sous-jacent n'est pas encore totalement élucidé.
Cependant, l'équipe de recherche dispose désormais d'une méthode pour étudier ces questions. Au fur et à mesure que ce travail avance, notre compréhension de l'esprit des grands modèles de langage et de leur relation avec l'esprit humain deviendra plus claire.
Adresse du blog : https://www.anthropic.com/research/global-workspace
Cet article provient du compte WeChat "Machine Heart", auteur : Rédaction de Machine Heart
