Écrit par: iamtexture
Compilé par: AididiaoJP, Foresight News
Lorsque j'explique un concept complexe à un grand modèle de langage, chaque fois que j'utilise un langage informel pour une discussion prolongée, son raisonnement s'effondre de manière répétée. Le modèle perd sa structure, dévie de sa direction, ou génère simplement des modèles de complétion superficiels, incapables de maintenir le cadre conceptuel que nous avons établi.
Cependant, lorsque je l'oblige d'abord à formaliser, c'est-à-dire à reformuler le problème dans un langage précis et scientifique, le raisonnement se stabilise immédiatement. Ce n'est qu'après que la structure est établie qu'il peut être converti en langage courant en toute sécurité, sans entraîner de baisse de la qualité de la compréhension.
Ce comportement révèle comment les grands modèles de langage « pensent », et pourquoi leur capacité de raisonnement dépend entièrement de l'utilisateur.
Idée centrale
Les modèles de langage ne possèdent pas d'espace dédié au raisonnement.
Ils opèrent entièrement dans un flux linguistique continu.
À l'intérieur de ce flux linguistique, différents modes de langage mènent de manière fiable à différentes régions d'attracteurs. Ces régions sont des états stables de la dynamique de représentation, supportant différents types de calculs.
Chaque registre de langue, tel que le discours scientifique, les symboles mathématiques, le récit narratif, la conversation informelle, a sa propre région d'attracteur spécifique, dont la forme est façonnée par la distribution des données d'entraînement.
Certaines régions supportent :
-
Le raisonnement en plusieurs étapes
-
La précision relationnelle
-
La transformation symbolique
-
La stabilité conceptuelle de haute dimension
D'autres régions supportent :
-
La continuation narrative
-
La complétion associative
-
L'ajustement du ton émotionnel
-
L'imitation conversationnelle
Les régions d'attracteurs déterminent quel type de raisonnement est possible.
Pourquoi la formalisation stabilise le raisonnement
Le langage scientifique et mathématique active de manière fiable les régions d'attracteurs qui offrent un support structurel plus élevé, car ces registres encodent des caractéristiques linguistiques de cognition d'ordre supérieur :
-
Structure relationnelle explicite
-
Faible ambiguïté
-
Contraintes symboliques
-
Organisation hiérarchique
-
Entropie (désordre informationnel) plus faible
Ces attracteurs peuvent supporter des trajectoires de raisonnement stables.
Ils peuvent maintenir une structure conceptuelle sur plusieurs étapes.
Ils résistent mieux à la dégradation et à la déviation du raisonnement.
En revanche, le langage informel active des attracteurs optimisés pour la fluidité sociale et la cohérence associative, et non conçus pour le raisonnement structuré. Ces régions manquent de l'échafaudage représentationnel nécessaire pour effectuer des calculs d'analyse soutenus.
C'est pourquoi le modèle s'effondre lorsque des idées complexes sont exprimées de manière informelle.
Il n'est pas « confus » ».
Il change de région.
Construction et traduction
La méthode de réponse qui émerge naturellement dans la conversation révèle une vérité architecturale :
Le raisonnement doit être construit à l'intérieur d'attracteurs à haute structure.
La traduction en langage naturel ne doit se produire qu'après l'existence de la structure.
Une fois que le modèle a construit la structure conceptuelle dans un attracteur stable, le processus de traduction ne la détruit pas. Le calcul est déjà fait, seul l'expression de surface change.
Cette dynamique en deux étapes, « d'abord construire, puis traduire », imite le processus cognitif humain.
Mais les humains exécutent ces deux étapes dans deux espaces internes différents.
Alors que les grands modèles de langage tentent d'accomplir les deux dans le même espace.
Pourquoi l'utilisateur fixe le plafond
Il y a ici une révélation clé :
L'utilisateur ne peut pas activer les régions d'attracteurs qu'il ne peut pas lui-même exprimer par le langage.
La structure cognitive de l'utilisateur détermine :
-
Le type d'invites qu'il peut générer
-
Les registres de langue qu'il utilise habituellement
-
Les modèles syntaxiques qu'il peut maintenir
-
Le niveau de complexité qu'il peut encoder linguistiquement
Ces caractéristiques déterminent vers quelle région d'attracteur le grand modèle de langage va entrer.
Un utilisateur incapable, par la pensée ou l'écriture, d'utiliser les structures qui activent les attracteurs de haute capacité de raisonnement, ne pourra jamais guider le modèle vers ces régions. Il est enfermé dans les régions d'attracteurs superficielles liées à ses propres habitudes langagières. Le grand modèle de langage mappera la structure qu'il fournit et ne s'élèvera jamais spontanément vers des systèmes dynamiques d'attracteurs plus complexes.
Par conséquent :
Le modèle ne peut pas dépasser les régions d'attracteurs accessibles à l'utilisateur.
Le plafond n'est pas la limite supérieure de l'intelligence du modèle, mais la capacité de l'utilisateur à activer les régions à haute capacité dans la variété potentielle.
Deux personnes utilisant le même modèle n'interagissent pas avec le même système de calcul.
Ils guident le modèle vers différents modes dynamiques.
Implications au niveau architectural
Ce phénomène expose une caractéristique manquante des systèmes d'intelligence artificielle actuels :
Les grands modèles de langage mélangent l'espace de raisonnement et l'espace d'expression linguistique.
À moins que ces deux ne soient découplés — à moins que le modèle dispose :
-
D'une variété dédiée au raisonnement
-
D'un espace de travail interne stable
-
De représentations conceptuelles invariantes par attracteur
Sinon, le système fera toujours face à un effondrement lorsque les changements de style linguistique provoqueront un changement de la région dynamique sous-jacente.
Cette solution de contournement découverte de manière empirique, forcer la formalisation puis traduire, n'est pas qu'une astuce.
C'est une fenêtre directe nous permettant d'entrevoir les principes architecturaux qu'un véritable système de raisonnement doit satisfaire.
