Oxford et la NUS proposent l'orientation des modèles du monde de nouvelle génération : les modèles du monde mental arrivent
marsbitPublié le 2026-08-13Dernière mise à jour le 2026-08-13
Résumé
Des chercheurs de l’Université d’Oxford et de l’Université nationale de Singapour ont introduit un nouveau cadre : la modélisation du monde mental (Mental World Modeling, MWM). Contrairement aux modèles du monde traditionnels qui se concentrent uniquement sur l'état physique (objets, positions, mouvements), le MWM intègre explicitement des variables mentales et sociales (croyances, intentions, émotions, relations) dans l'état global du monde. Cela permet de prédire plus précisément les comportements humains, notamment dans des scénarios sociaux où les actions dépendent de facteurs invisibles comme les connaissances ou les croyances d'autrui.
Pour valider ce cadre, l'équipe a développé MENTIS, un système de référence modulaire et explicite qui décompose le raisonnement en étapes : analyse de l'état physique-mental, génération de l'observation locale d'un agent cible, simulation conjointe de l'évolution des états physique et mental pour chaque action possible, et évaluation finale. Les expériences systématiques montrent que le MWM améliore significativement la précision de prédiction des actions, en particulier dans les interactions sociales. Le principal goulot d'étranglement identifié réside dans la simulation précise de la transition d'état couplée physique-mental, indiquant une voie claire pour les futures recherches.
Imaginez une telle situation : une tasse est placée dans un placard par A, mais B ne l'a pas vu.
Question : Où B ira-t-il chercher la tasse ensuite ?
Si un modèle du monde ne connaît que les faits physiques, il prédira mal la prochaine décision de B : « La tasse est maintenant dans le placard, il devrait aller chercher dans le placard. » (Image du haut)
Mais un modèle qui comprend également les états mentaux des personnes peut prédire correctement : « B ne sait pas que la tasse a été déplacée, donc il pense qu'elle est toujours sur la table, et il y a de fortes chances qu'il retourne près de la table pour chercher. » (Image du bas)
L'état suivant du monde est aussi déterminé par des variables mentales
Cela révèle un problème clé : les modèles du monde qui ne font que suivre les objets, les positions et les mouvements peuvent produire des prédictions « physiquement plausibles, mais comportementalement erronées ».
Récemment, une équipe de recherche de l'Université d'Oxford et de l'Université Nationale de Singapour a proposé dans une nouvelle étude « Mental World Modeling » un cadre général, la Modélisation du Monde Mental (Mental World Modeling, MWM). Ce travail intègre ces variables mentales elles-mêmes dans l'état du monde (world state), au lieu de les traiter simplement comme des explications a posteriori (post-hoc explanations).
Titre de l'article : Mental World Modeling
Lien vers l'article : https://arxiv.org/abs/2607.27201
Au moment de la publication, MWM a atteint la première place du classement quotidien Hugging Face Daily Papers.
Hugging Face Paper : https://huggingface.co/papers/2607.27201
La moitié manquante des modèles du monde
La plupart des modèles du monde existants se concentrent principalement sur l'aspect physique du monde :
Quels objets et agents existent ?
Où sont-ils ?
Comment la scène visible va-t-elle évoluer ?
Dans ces modèles, une personne n'est souvent qu'un objet qui se déplace et exécute des actions, son état mental interne n'entre pas véritablement dans le modèle du monde. Mais dans le monde réel, une personne n'est pas simplement un objet mobile.
Pour une intelligence centrée sur l'humain (human-centered intelligence), cela est loin d'être suffisant.
Pourquoi ? Parce que les décisions comportementales des humains ne sont pas déterminées uniquement par l'environnement externe des objets, des structures spatiales et des lois physiques, mais sont produites par l'interaction entre l'environnement externe et les variables internes mentales-sociales.
Par exemple, un robot de service doit juger si un utilisateur est confus, s'il perd patience, ou s'il cherche de l'aide de manière indirecte ; un assistant médical doit prendre en compte la cognition du patient, sa perception des risques, ses émotions de peur et son niveau de confiance ; un agent de collaboration doit identifier que certaines actions, bien que physiquement réalisables, peuvent ne pas être appropriées en raison des normes sociales, des relations de rôle ou du contexte d'interaction interpersonnelle.
Tous ces scénarios exigent que les systèmes intelligents puissent suivre en permanence les états mentaux et sociaux des agents, notamment : ce qu'ils savent, ce qu'ils croient, ce sur quoi ils se concentrent, ce qu'ils veulent, ce qu'ils ont l'intention de faire, ce qu'ils ressentent, et quelles actions ils considèrent comme socialement acceptables. Même si deux scènes sont physiquement identiques, tant que les croyances, objectifs, émotions, relations interpersonnelles ou responsabilités sociales des personnes diffèrent, des comportements radicalement différents peuvent en résulter.
En résumé : Un modèle du monde, même s'il peut reconstruire avec précision une scène physique, peut quand même être incapable de prédire correctement le comportement humain.
Les sciences cognitives ont étudié ces capacités à travers des théories telles que les modèles mentaux (mental models), la théorie de l'esprit (Theory of Mind, ToM), les modèles d'agents BDI (Belief–Desire–Intention agency) et la cognition incarnée (embodied cognition).
Cependant, la recherche actuelle en intelligence artificielle construit soit des modèles du monde physique dépourvus d'états mentaux, soit réduit le raisonnement psychologique à des tâches de questions-réponses isolées sur la théorie de l'esprit (Theory-of-Mind question answering).
Ces deux perspectives ne suffisent pas à décrire un monde véritablement complet — parce que l'état suivant du monde n'est pas déterminé uniquement par des facteurs physiques, mais est produit par l'évolution conjointe de l'état physique et des états mentaux (jointly physical and mental).
Comment intégrer véritablement les variables mentales dans l'espace d'état d'un modèle du monde ?
Cette recherche tente de proposer un cadre formel de modélisation du monde mental, pour construire des modèles du monde capables de représenter simultanément la dynamique physique et la dynamique mentale.
L'objectif de la modélisation du monde mental n'est pas de simuler la conscience subjective et l'expérience privée d'une personne, mais de construire un simulateur du monde externe, approximatif et pertinent pour la tâche (task-relevant world simulator). L'état global de ce simulateur contient à la fois des variables physiques (physical variables) et des variables mentales (mental variables).
Deux agents, trois modules opérationnels, un état couplé physique-mental. En tant que simulateur global, le modèle du monde mental génère d'abord les informations que l'agent cible peut voir et déduire, puis laisse l'agent agir sur la base de cette cognition.
Premièrement, la modélisation du monde mental maintient un état du monde couplé physique-mental (coupled physical–mental world state), représentant simultanément l'environnement physique et les états mentaux potentiels des agents.
Deuxièmement, un agent cible (target agent) ne peut observer qu'une représentation partielle et en première personne de cet état global après transformation. Pour chaque agent cible, MWM génère une perspective d'observation locale spécifique à cet agent — c'est-à-dire les informations que cette personne peut réellement voir, entendre, savoir et déduire ;
Ensuite, l'agent cible agit sur la base de cette observation, et le modèle du monde simule comment cette action va simultanément modifier :
La scène objective dans le monde physique ;
La configuration des états dans le monde mental-social (mental-social configuration).
Comment vérifier si MWM est efficace ?
Pour rendre ce cadre vérifiable, l'équipe a implémenté un système de référence modulaire, MENTIS, un système de référence sans apprentissage et entièrement observable, qui force les systèmes basés sur les grands modèles de langage (LLM) à raisonner de manière conforme au modèle du monde mental.
Processus MENTIS.
Le système convertit d'abord la scène d'entrée en un état courant structuré
Génère l'observation de l'agent cible pseudo
, analyse chaque option candidate comme une branche comportementale, simule en parallèle les changements ultérieurs de l'état physique et de l'état mental, évalue enfin les différents résultats futurs et sélectionne le comportement final.
Étant donné un scénario contextualisé, un agent cible et un ensemble de comportements candidats, MENTIS décompose le processus de prédiction de décision en une série d'étapes explicites : analyse de l'état → génération de l'observation de l'objectif → décomposition du comportement → simulation du transfert d'état couplé physique-mental → évaluation au niveau de la branche → décision finale.
D'abord, il analyse le scénario en un état physique-mental avec une structure typée ;
Ensuite, il génère à partir de cet état l'observation locale accessible à l'agent cible ;
Puis, il décompose chaque comportement candidat en ses impacts au niveau physique et au niveau mental correspondants ;
Ensuite, il simule pour chaque branche comportementale possible son état suivant couplé physique-mental ;
Enfin, il attribue un score à chaque branche selon trois dimensions : plausibilité physique, cohérence mentale et conformité sociale, et sélectionne le comportement final par des règles déterministes.
En d'autres termes, MENTIS n'exige plus du modèle de passer directement du scénario à la prédiction comportementale, mais lui demande de modéliser explicitement : dans quel état se trouve le monde actuellement, comment l'agent cible perçoit le monde, comment différentes actions modifient l'état physique et mental, et quel comportement est le plus plausible aux niveaux physique et social.
MENTIS ne nécessite pas d'apprentissage, donc ses résultats reflètent les capacités de raisonnement apportées par la structure du modèle elle-même, et ne dépendent pas de paramètres appris par ajustement. Chaque étape du système produit des résultats intermédiaires vérifiables par machine, de sorte que l'état, les observations et les simulations futures peuvent être enregistrés, comparés à des annotations humaines, ou directement remplacés par des valeurs annotées réelles pour analyse.
MWM est-il vraiment efficace, quels sont les goulots d'étranglement ?
Les chercheurs ont conçu une série de groupes expérimentaux, testant spécifiquement les étapes où ce cadre pourrait échouer, et les résultats présentent une tendance cohérente.
Premièrement, une modélisation explicite du monde mental est nécessaire pour prédire les décisions humaines.
Échelle de nécessité (F1 du comportement final, 448 enregistrements). (a) Scores F1 de huit modèles du monde à différentes étapes de l'échelle (les lignes fines indiquent les résultats d'un seul modèle, les lignes épaisses la moyenne). (b) Résultats de l'étude d'ablation S6 sur les huit modèles (les points blancs indiquent les valeurs correspondantes pour chaque modèle).
Parmi les 8 modèles du monde basés sur les grands modèles de langage (LLM) testés, la réponse directe moyenne atteint un F1 de 63,3 ; la configuration MWM complète obtient les meilleures performances avec 87,9 ; retirer le canal mental entraîne une baisse de performance pour tous les modèles, d'environ 12,1 points ; retirer le canal physique entraîne une baisse de 16,5 points ; prédire séparément le transfert des deux états entraîne également une baisse de 6,4 points.
Performances en score F1 de quatre configurations expérimentales dans différentes catégories de scénarios
Et l'amélioration des performances est la plus importante précisément dans les scénarios d'interaction interpersonnelle, car les décisions dans ces scénarios dépendent principalement de variables mentales cachées. Pour gpt-5.6-sol, MWM complet fait passer le F1 de l'action finale de 66,5 (réponse directe) à 92,9, soit une augmentation de 26,4 points. Ce résultat est propre aux tests contrôlés de l'article, mais il est cohérent avec la motivation de la recherche : lorsque les croyances, rôles et relations déterminent l'étape suivante, les variables physiques seules ne peuvent expliquer l'action.
Alors, quel est le véritable goulot d'étranglement ?
Outre la démonstration de sa nécessité, l'article effectue un diagnostic plus ciblé : remplacer une étape intermédiaire par l'information correcte (intervention Oracle), puis voir dans quelle mesure la prédiction finale peut être améliorée, en attribuant davantage la différence entre le modèle et l'humain.
Expérience d'intervention Oracle (gpt-5.6-sol). Score F1 du comportement final après remplacement des prédictions du modèle par des informations d'annotation réelles dans une ou plusieurs étapes ; les étiquettes des barres indiquent l'amélioration des performances obtenue par rapport à la version de prédiction complète S6.
Les résultats montrent que pour gpt-5.6-sol, MWM complet est à 90,7, l'utilisation du transfert d'état annoté réel permet d'atteindre 94,2, apportant une amélioration de performance de +3,5, le gain le plus important parmi les interventions individuelles. Seule l'intervention sur le transfert d'état permet au modèle de combler 45% de l'écart de performance avec l'humain (7,8 points).
Les résultats indiquent que le plus grand goulot d'étranglement résiduel actuel est la simulation du transfert d'état, c'est-à-dire la capacité insuffisante du modèle à prédire comment le monde couplé physique-mental évolue. Cela fournit une orientation claire pour améliorer les futurs systèmes MWM.
Quand la modélisation du monde mental est-elle la plus utile ?
La valeur d'application de MWM ne devrait pas être mesurée par « combien de domaines sociaux elle peut énumérer ». Après tout, presque tous les systèmes destinés aux humains, au sens large, ont une certaine « socialité ».
Un critère de jugement plus précis et plus significatif est :
MWM a une véritable valeur lorsque l'efficacité d'une action dépend de variables qui ne peuvent être déduites uniquement de la scène physique, mais qui déterminent comment les humains perçoivent, choisissent, acceptent, résistent ou apprennent.
Du point de vue de la théorie de la décision, la valeur de l'information sur l'état mental peut être définie comme :
L'écart d'utilité espéré (expected utility gap) entre l'intervention optimale choisie en ayant accès à l'état couplé physique-mental, et l'intervention optimale choisie en se basant uniquement sur l'état physique.
Cet écart est très significatif lorsque les croyances, objectifs, attention, confiance, obligations, états émotionnels ou normes sociales modifient « quelle action est bénéfique » ; et il est faible lorsque l'action suivante est presque entièrement déterminée par la faisabilité physique.
Par exemple, un contrôleur de préhension mécanique n'a pas besoin de MWM pour accomplir l'action « tendre la main et saisir la tasse » ; mais un robot domestique de service, pour décider « s'il doit passer cette tasse à son propriétaire », doit comprendre les états mentaux et sociaux sous-jacents — si cette action est une aide, une perturbation, une impolitesse, un risque, ou la transmission d'une information erronée.
Conclusion
Ce travail propose un cadre formel de modélisation du monde mental, pour construire des modèles du monde capables de représenter simultanément la dynamique physique et mentale. Sa contribution centrale peut être résumée en trois points :
Proposition de la modélisation du monde mental : Un cadre mathématique formel qui intègre la dynamique physique et mentale dans une perspective unifiée de modélisation du monde, permettant aux systèmes d'IA non seulement de raisonner sur la manière dont l'environnement change, mais aussi de comprendre comment les agents perçoivent, interprètent et répondent à ces changements au niveau mental.
Proposition de MENTIS : Une implémentation de référence sans apprentissage qui concrétise et rend exécutable le cadre MWM grâce à des modules tels que l'analyse de l'état, la génération d'observations, la décomposition des comportements, le transfert d'état couplé physique-mental et l'évaluation de la valeur au niveau des branches.
Conduite d'une étude empirique systématique, dont les résultats se résument en deux conclusions principales :
La modélisation explicite du monde mental est nécessaire pour prédire les décisions humaines, en particulier dans les scénarios d'interaction sociale et de relations interpersonnelles ;
Le goulot d'étranglement clé des systèmes MWM actuels réside dans leur capacité insuffisante de simulation du transfert d'état, ce qui indique également une direction d'amélioration pour les recherches futures.
Cet article provient du compte officiel WeChat « 机器之心 » (Machine Heart)
Questions liées
QQu'est-ce que la modélisation du monde mental (MWM) propose de nouveau par rapport aux modèles de monde traditionnels ?
ALa modélisation du monde mental (MWM) propose d'intégrer des variables mentales (croyances, désirs, intentions, émotions, relations sociales) dans l'état du monde, en plus des variables physiques. Contrairement aux modèles traditionnels qui se concentrent uniquement sur la dynamique physique, le MWM modélise conjointement l'évolution de l'état physique et mental pour mieux prédire les comportements humains, en particulier dans des contextes sociaux.
QQuel est l'exemple simple utilisé dans l'article pour illustrer la limite d'un modèle de monde purement physique ?
AL'exemple est le suivant : une tasse est placée dans un placard par la personne A, sans que la personne B ne le voie. Un modèle purement physique prédirait que B irait chercher la tasse dans le placard (son emplacement réel). Cependant, un modèle intégrant les états mentaux prédit correctement que B, ignorant le déplacement, pensera que la tasse est toujours sur la table et ira donc y chercher.
QQuel est le nom du système de référence implémenté par l'équipe pour valider le cadre MWM, et quelle est sa particularité ?
ALe système de référence est nommé MENTIS. Sa particularité est qu'il est modulaire, ne nécessite aucun entraînement et est entièrement observable. Il force les systèmes basés sur les LLM à raisonner selon le paradigme de la modélisation du monde mental, en décomposant explicitement le processus de prédiction en étapes comme l'analyse d'état, la génération d'observation, la simulation d'états futurs couplés physique-mental et l'évaluation par branche.
QSelon les expériences décrites, quel est le principal goulot d'étranglement (bottleneck) identifié pour les systèmes MWM actuels ?
ALe principal goulot d'étranglement identifié est la simulation de la transition d'état (state transition simulation), c'est-à-dire la capacité du modèle à prédire comment l'état du monde couplé physique-mental évolue suite à une action. Les interventions utilisant des annotations réelles pour cette étape ont montré les gains de performance les plus significatifs, indiquant que c'est là que se situe la plus grande marge d'amélioration.
QDans quels types de scénarios la valeur ajoutée de la MWM est-elle la plus significative selon l'article ?
ALa valeur ajoutée de la MWM est la plus significative dans les scénarios où le comportement humain dépend fortement de variables mentales ou sociales qui ne peuvent pas être déduites de la seule scène physique. Cela inclut les interactions interpersonnelles, les contextes de collaboration, les situations impliquant des normes sociales, des rôles, des émotions, de la confiance ou des obligations, où la décision 'optimale' change radicalement selon l'état mental des agents.
