想象这样一个场景:一个杯子被 A 放进柜子里,B 没有看到。
问:B 下一步会去哪里找杯子?
如果世界模型只知道物理事实,预测错 B 的下一步决策:「杯子现在在柜子里,应该去柜子找。」(上)
但还同时理解人的心智的模型能正确预测:「B 不知道杯子被移动,因此认为杯子还在桌上,大概率会回到桌边寻找。」(下)
世界的下一状态,也由心智变量决定
这揭示了关键问题:只追踪物体、位置和运动的世界模型,可能得到「物理上合理、但行为错误」的预测。
近日,牛津大学和新加坡国立大学的研究团队最新研究《Mental World Modeling》提出了一种通用框架,心智世界建模(Mental World Modeling, MWM)。这项工作将这些心智变量本身纳入世界状态(world state)之中,而不是将它们仅仅作为事后解释(post-hoc explanations)。
- 论文标题:Mental World Modeling
- 论文链接:https://arxiv.org/abs/2607.27201
- 项目主页:https://mental-world.github.io/
- 开源代码:https://github.com/mental-world/Mentis
截至发稿前,MWM已登顶 Hugging Face Daily Papers 日榜第一。
Hugging Face Paper: https://huggingface.co/papers/2607.27201
世界模型缺失的另一半
大多数现有的世界模型主要关注世界的物理层面:
- 有哪些物体和智能体存在?
- 它们在哪里?
- 可见场景将如何演化?
在这些模型中,人往往只是一个会移动、会执行动作的对象,其内心状态并没有真正进入世界模型。但真实世界中的人,并不是简单移动的物体。
对于以人为中心的智能(human-centered intelligence)而言,这还远远不够。
为什么?因为人的行为决策并不是单纯由物体、空间结构和物理规律的外部环境决定的,而是由外部环境与内部心智–社会变量的交互作用共同产生的。
例如,一个服务机器人需要判断用户是否感到困惑、是否失去耐心,或者是否在以间接方式寻求帮助;一个医疗助手需要考虑患者的认知、风险感知、恐惧情绪以及信任程度;一个协作智能体则必须识别:某些行为虽然在物理上可行,但由于社会规范、角色关系或人际互动背景的影响,可能并不合适。
这些场景都要求智能系统能够持续追踪智能体的心智与社会状态,包括:它们知道什么、相信什么、关注什么、想要什么、打算做什么、感受到什么,以及认为哪些行为在社会规范上是被允许的。即使两个场景在物理上完全相同,只要其中人的信念、目标、情绪、人际关系或社会责任不同,就可能产生截然不同的行为。
一句话总结:一个世界模型即使能够准确重建物理场景,仍然可能无法正确预测人的行为。
认知科学已经通过心智模型(mental models)、心智理论(Theory of Mind, ToM)、BDI 智能体模型(Belief–Desire–Intention agency)以及具身认知(embodied cognition)等理论研究了这些能力。
然而,当前大多数人工智能研究要么构建的是缺乏心智状态的物理世界模型,要么将心理推理简化为孤立的心智理论问答任务(Theory-of-Mind question answering)。
这两种视角都不足以描述一个真正完整的世界—— 因为世界的下一状态并非仅由物理因素决定,而是由物理状态与心智状态共同演化(jointly physical and mental)产生的。
如何将心智变量真正纳入世界模型的状态空间呢?
这篇研究尝试提出心智世界建模的形式化框架,用于构建能够同时表征物理动态与心智动态的世界模型。
心智世界建模的目标并不是模拟某个人私人的主观意识和经验,而是构建一个外部的、近似的、与任务相关的世界模拟器(task-relevant world simulator)。该模拟器的全局状态同时包含物理变量(physical variables)和心智变量(mental variables)。
两个主体,三个运算模块,一个物理–心智耦合状态。心智世界模型作为一个全局模拟器,首先生成目标智能体能够看到和推断的信息,再让智能体基于这一认知采取行动。
首先,心智世界建模维护的是一个物理–心智耦合的世界状态(coupled physical–mental world state),即同时表征物理环境与智能体的潜在心智状态。
其次,一个目标智能体(target agent)只能观察到这个全局状态经过转换后的、部分的第一人称视角呈现(partial, first-person rendering)。对于每个目标智能体(target agent),MWM生成针对该智能体的局部观测视角—— 即这个人实际能够看到、听到、知道并推断出的信息;
随后,目标智能体基于这一观察结果采取行动,而世界模型则模拟该行动将如何同时改变:
- 物理世界中的客观场景;
- 心智–社会世界中的状态配置(mental-social configuration)。
怎么验证 MWM 有效?
为了使这一框架具备可验证性,该团队实现了一个模块化的参考系统MENTIS,一个无需训练且完全可观测的基准系统,它迫使基于大语言模型(LLM)的系统以心智世界模型的方式进行推理。
MENTIS 流程。
系统首先将输入场景转换为结构化的当前状态
生成目标伪智能体的观测
, 将每个候选选项解析为一个行为分支,并行模拟物理状态与心智状态的后续变化,最后评估不同未来结果并选择最终行为。
给定一个情境化场景、一个目标智能体以及一组候选行为,MENTIS 将决策预测过程分解为一系列明确的阶段:状态解析 → 目标观测生成 → 行为分解 → 物理–心智耦合状态转移模拟 → 分支级评估 → 最终决策。
- 首先,它将场景解析为具有类型结构的物理–心智状态;
- 随后,从该状态中生成目标智能体所能获得的局部观测;
- 接着,将每个候选行为分解为其对应的物理层面影响与心智层面影响;
- 然后,对每一种可能的行为分支模拟其物理–心智耦合的下一状态;
- 最后,从物理合理性、心智一致性以及社会规范性三个维度对每个分支进行评分,并通过确定性规则选择最终行为。
换言之,MENTIS 不再让模型直接从场景跳跃到行为预测,而是要求其显式建模:世界当前处于什么状态、目标智能体如何感知世界、不同动作会如何改变物理与心智状态,以及哪种行为在物理和社会层面最合理。
MENTIS无需训练,因此其结果反映的是模型结构本身带来的推理能力,而不是依赖于拟合得到的参数。系统中的每一个阶段都会输出可被机器验证的中间产物,因此状态、观测以及模拟未来都可以被记录、与人工标注进行比较,或者直接替换为真实标注值进行分析。
MWM 真的有效吗,瓶颈是什么?
研究者设计了一系列实验组,专门测试该框架可能失效的环节,实验结果呈现出一致的规律。
首先,显式的心智世界建模对于预测人类决策是必要的。
必要性阶梯(最终行为 F1,448 条记录)。 (a) 八个世界模型在不同阶梯阶段上的 F1 分数(细线表示单个模型结果,粗线表示平均结果) (b) 八个模型上的 S6 消融实验结果(白点表示各模型对应数值)。
在测试的 8 个基于大语言模型(LLM)的世界模型中,直接回答的平均 F1 为 63.3;完整的 MWM 配置均取得了最佳表现 87.9;移除心智通道会导致所有模型性能下降,约 12.1 个点,去掉物理通道下降 16.5 个点,把两种状态的转移分开预测也会下降 6.4 个点。
四种实验设置在不同场景类别下的 F1 分数表现
而且性能提升最大的正是在人际互动场景中,因为这些场景中的决策主要依赖于隐藏的心智变量。对 gpt-5.6-sol,完整 MWM 将最终动作 F1 从直接回答的 66.5 提升到 92.9,增加 26.4 个点。这个结果只属于论文的受控测试,但它与研究动机一致:当信念、角色和关系主导下一步时,物理变量无法单独解释行动。
那么,真正的瓶颈是什么?
除了证明其必要性之外,论文还做了一组更有指向性的诊断:把某个中间步骤替换成正确的信息(Oracle 干预),再看最终预测能提升多少,将模型与人类之间的差异进一步归因。
Oracle 干预实验(gpt-5.6-sol)。在一个或多个阶段使用真实标注信息替代模型预测结果后的最终行为 F1 分数;柱状图标签表示相较于完整预测版本 S6 所获得的性能提升。
实验结果显示,对 gpt-5.6-sol,完整 MWM 为 90.7,使用真实标注的状态转移能够提高到 94.2,带来+3.5的性能提升,是单项干预中最大的增益,仅通过对状态转移的干预,模型就能够弥补人类性能差距(7.8 分)中的45%。
结果表明,当前最大的剩余瓶颈是状态转移模拟,即模型预测物理–心智耦合世界如何发生变化的能力不足。这为未来改进 MWM 系统提供了明确方向。
心智世界建模何时发挥作用最大
MWM 的应用价值不应该通过「能够列举多少社会领域」来衡量。毕竟,几乎所有面向人类的系统,从广义上来说都具有某种「社会性」。
更准确、也更有意义的判断标准是:
当一个行为的有效性取决于那些无法仅从物理场景中推断出来、但又会决定人类如何感知、选择、接受、抵抗或学习的变量时,MWM 才具有真正的价值。
从决策理论的角度来看,心智状态信息的价值可以定义为:
在能够获取物理–心智耦合状态的情况下所选择的最优干预,与仅基于物理状态所选择的最优干预之间的期望效用差距(expected utility gap)。
当信念、目标、注意力、信任、责任义务、情绪状态或社会规范会改变「哪一种行为才是有益的」时,这一差距会非常显著;而当下一步行为几乎完全由物理可行性决定时,这一差距则很小。
例如,一个机械抓取控制器并不需要 MWM 来完成「伸手抓住杯子」这一动作;但一个家庭服务机器人在决定「是否把这个杯子递给主人」时,就需要理解背后的心智与社会状态 —— 这个行为究竟是在提供帮助、打扰对方、显得失礼、造成风险,还是传递错误信息。
总结
这项工作提出了心智世界建模的形式化框架,用于构建能够同时表征物理动态与心智动态的世界模型,核心贡献可以概括为三点:
提出心智世界建模:一种形式化的数学框架,在统一的世界建模视角下融合物理动态与心智动态,使 AI 系统不仅能够推理环境如何变化,还能够理解智能体如何感知、解释并在心智层面响应这些变化。
提出 MENTIS:一种无需训练的基准实现,通过状态解析、观测生成、行为分解、物理–心智耦合状态转移以及分支级价值评估等模块,将 MWM 框架具体化并实现可运行化。
开展系统性的实证研究,实验结果凝练出两个核心结论:
显式心智世界建模对于预测人类决策是必要的,尤其是在社会互动与人际关系场景中;
当前 MWM 系统的关键瓶颈在于状态转移模拟能力不足,而这也为未来研究指明了改进方向。
本文来自微信公众号“机器之心”
