拆开Claude大脑也没用,AI黑箱真正的钥匙,藏在本体工程

marsbit发布于2026-07-17更新于2026-07-17

文章摘要

文章《拆开Claude大脑也没用,AI黑箱真正的钥匙,藏在本体工程》探讨了AI可解释性研究的新方向。文章以Anthropic公司发现Claude模型内部“J-Space”神经活动区为例,指出当前主流的内在主义研究路径(即试图观测和解释模型内部状态)存在根本局限:它无法触及模型输出背后的“意义”和“理由”。 作者认为,大语言模型本质是信息处理器,其可解释性的核心不在于神经元的激活模式,而在于模型所处理的信息本身——这些信息与世界、知识及人类实践的关系。因此,需要将视角从“模型如何思考”转向“模型处理了什么样的信息”,即关注信息的本体论地位。 文章引入康德哲学中的“范畴”概念,提出可解释性的关键在于模型的信息结构是否能映射到人类理解世界的基本认知框架上。而将这一哲学理论转化为实践的关键是“本体工程”。本体工程能构建结构化的知识框架,为模型的推理提供可追溯、可验证的语义锚点,从而使模型的输出变得可理解、可问责。 最终,文章主张超越“打开黑箱”的单一思路,通过本体工程构建“AI友好的”语义骨架,将可解释性从一个技术难题,转化为一项可通过工程手段管理的治理目标,让AI的影响变得可追溯、可控制。

「解释的本质,不在于凝视机器本身,而在于审视机器所凝视的世界」。

2026年7月,Anthropic研究团队发表了《A global workspace in language models》,通过名为J透镜的工具在Claude内部识别出一个可被观测、可被干预且具有因果效力的神经活动区域——J-Space。

这一发现之所以引发广泛关注,在于它使研究者得以窥见模型推理过程中的「内心独白」,标志着可解释性研究从对模型行为的解释迈向了对其内部状态的实时观测。

J-Space以认知神经科学的全局工作空间理论为解释框架,将语言模型的推理活动类比于人类意识层面的信息处理,在方法论和认识论层面都构成了重要推进,也为AI安全提供了全新的监控维度。

然而,正因其影响深远,更有必要审慎检视这一进路的内在局限。J-Space研究的根本取向是内在主义的——它将可解释性的核心问题设定为「理解模型内部发生了什么」,试图像神经科学家用fMRI扫描人脑一样,用J-lens扫描语言模型的神经活动。

这一进路预设了可解释性的答案藏在模型「体内」,然而一个模型的输出是否可被理解,不仅取决于其内部状态的可见性,更取决于这些状态与世界中的事态、语义规范以及使用者的认知框架之间的关系。

仅凭观察神经活动来理解模型的话语,就如同仅凭观察一个人的脑电活动来理解他所说的话——我们或许能捕捉到神经关联,却未曾触及话语的意义本身。

除此之外,J-Space借用了全局工作空间理论这一关于意识的理论来解释语言模型,在移植过程中一种微妙的范畴错误悄然发生:功能层面的同构性被误等同于认识论层面的等价性。

模型没有主观经验,J-Space中的激活模式只是数学运算的产物,而非任何意义上的心灵状态。

更深层的问题在于,J-Space研究本质上是一项工程导向的工作,它将「可解释性」窄化为「可观测性」和「可干预性」,然而在更广泛的知识论传统中,「解释」的含义远比此丰富——它涉及将现象纳入更一般的规律框架,涉及提供理由和依据,还涉及对决策正当性的论证。

J-Space能够告诉我们模型「在想什么」,却无法告诉我们模型为什么以这种方式思考,它所依据的「理由」是什么,这些理由在何种意义上是「好的」理由。这些问题的答案不在神经活动模式之中。

上述局限指向一个共同的症结:J-Space乃至整个以神经网络为焦点的可解释性研究,始终将「模型本身」作为解释的唯一对象,问题的起点和终点都是模型。

本文尝试提出一种不同的视角——将可解释性的追问从模型内部转向模型所处理的信息,从神经科学的内部主义进路转向知识论的「信息本体论」进路。

这一转换基于一个简洁的观察:大型语言模型本质上是信息处理器,其输入和输出均为文本,而文本的意义——即我们真正需要解释的东西——并不存在于神经元的激活值中,而存在于这些符号与世界、与知识、与人类实践之间的关系之中。

当一个模型回答「巴黎是法国的首都」,我们需要解释的不仅是模型内部哪个区域被激活了,更是这个陈述在何种知识体系中成立,它以什么为依据,这些依据的可靠性和正当性如何,这个回答与人类已有的地理知识之间是什么关系——这些问题无一能通过扫描神经活动来回答。

因此,本文主张将可解释性问题的核心从「模型如何思考」转向「模型处理了什么样的信息、这些信息具有怎样的本体论地位」,从而将可解释性的对象从模型本身扩展至模型所嵌入的整个信息生态——包括训练数据的结构、知识的表征方式、推理过程中的信息流转,以及输出与外部知识体系的映射关系。

以J-Space为代表的可解释性研究将神经科学范式引入了人工智能领域,其贡献在于使我们得以窥见模型「内部发生了什么」。然而这一进路的内在主义取向、对功能类比的依赖以及工程化视角对「解释」概念的窄化,共同构成了其认识论上的三重局限。

本文认为,要真正推进大语言模型的可解释性问题,需要超越对模型内部状态的凝视,转而从知识论的视角出发,系统考察模型所处理的信息——其来源、结构、表征方式、流转路径及其与外部知识体系的关系——的本体论基础。正是这一视角的转换,构成了本文研究的出发点。

本体论源起,可解释性的哲学地基

「概念无直观则空,直观无概念则盲」。

先抛出一个古老的哲学追问:人类究竟如何理解世界?康德在《纯粹理性批判》中给出了经典回答:他认为人类心灵并非被动接收外界刺激,而是先天配备了十二种「纯粹知性概念」(「十二范畴」)作为认知的形式框架。

康德从人类逻辑判断的十二种形式中推导出这些范畴,将其分为量、质、关系和模态四组:量涉及「多少」,质涉及「是什么样」,关系涉及事物之间的联系,模态涉及存在的方式。

康德的范畴理论本质上是一种关于「可理解性」的本体论承诺:只有能被纳入这十二种范畴框架之下的东西,才能成为知识对象;超出框架的「物自体」永远不可知。这意味着康德意义上的「本体论」不再追问世界「本身是什么」,而是追问「世界对我们呈现为什么」。

这对于AI可解释性的深层启示在于:当我们解释一个语言模型的输出时,真正「可解释」的不是内部神经元的物理激活,而是信息被范畴化、被结构化为可理解知识的过程。神经激活属于物自体层面,模型输出的话语意义则属于现象界层面,只有被置于某种认知结构框架中才能被理解和评判。

本体是AI可解释性的「钥匙」。在分析层面,它提供了一套完备的概念框架来描述模型所处理信息的结构化形态——我们可以追问一个陈述中是否隐含了「实体与偶性」的归属、「因果性」的判断或「模态」的承诺,从而系统描述模型构建了何种知识结构,而非笼统地说「模型似乎理解了因果关系」。

在规范层面,它为可解释性提供了评判标准:若模型内部表征中确实形成了与本体相对应的结构化模式,其输出就具备被理解的基础;若始终无法映射到这些本体之上,则无论输出多么流畅,在认识论意义上都是不可解释的。

以康德范畴作为可解释性的哲学钥匙,并非主张模型必须「拥有」这些范畴——康德的范畴是主体的先天认知条件,而模型则是功能上的实现问题,它可能通过不同的神经计算路径在功能上等价地区分实体性、因果性或模态差异。

关键在于:可解释性不要求模型内在机制透明到每一个权重的程度,而要求我们能够确认模型在信息处理层面所形成的结构是否映射到了人类用以理解世界的范畴框架之上。

从理论到实践:本体工程与大语言模型的融合

本体论提供的是关于「可理解的结构应当是什么样」的规范性回答,但这一回答本身并不自动转化为可运行的技术系统。本体论若无本体工程的支撑,便只是悬置在空中的概念游戏。

本体工程作为将哲学范畴实例化为可计算、可维护、可追溯的技术实体的实践领域,构成了从理论到应用的必经桥梁。

在人工智能可解释性问题上,本体论与本体工程的关系尤显根本:前者告诉我们应当追问什么样的知识结构,后者则负责在模型、数据和系统之间实际构建起这样的结构。

大语言模型的出现,使本体工程获得了前所未有的发展动能,也反过来提出了全新的工程挑战。传统本体构建依赖领域专家的人工参与,流程漫长、成本高昂,且难以适应知识更新和领域演变的节奏。

大语言模型凭借其从海量文本中提取语义模式和知识关联的能力,正在从根本上重塑本体工程的实践形态。

在类定义、关系抽取、属性构建等核心本体学习任务中,语言模型能够以远超人工作业的效率完成大规模知识的结构化提取。更为关键的是,语言模型在识别概念之间的层级关系、同义关系和关联关系方面展现出的语义敏感度,使得本体构建从「专家手工编制」演进为「人机协作生产」乃至「自动生成式构建」。

这种转变的意义不仅在于效率提升——它使本体的构建具备了前所未有的可扩展性和领域覆盖度,使得原本只有少数关键领域才能享有本体支持的局面,开始向更多垂直场景和快速变化的知识领域开放。

与此同时,本体工程的反向赋能同样不可忽视。大语言模型固然强大,但其推理过程的不可见性、输出的不可验证性以及对训练数据统计规律的依赖,共同构成了可解释性的根本障碍。

本体在此扮演的工程角色是多重的:它作为结构化的知识供给者,为模型提供经过验证的领域知识底座;作为推理的校验框架,对模型的输出进行一致性约束和逻辑校准;更根本地,作为解释的锚定结构,使模型的每一步推理都能够被映射到明确定义的类、属性和关系之上。

当一个模型的输出可以追溯至其所依赖的本体条目,解释便不再依赖于对神经网络内部状态的猜测,而是建立在对知识结构本身的追溯之上。这正是可解释性从「透视黑箱」向「展示知识结构」转变的工程基础——前者在技术上面临不可逾越的困难,后者则是一个可设计、可优化、可验证的工程问题。

在这一双向融合中,「AI友好的本体框架」成为一个关键的工程命题。传统本体面向描述逻辑推理机设计,其语法、公理和推理机制均围绕确定性符号推演优化;而大语言模型的介入,从根本上改变了本体的消费者形态与使用场景。

这一变化要求本体设计原则做出相应调整——本体应当收敛其职责,专注于清晰定义领域中的对象、关系、行为与规则,即为模型提供推理所依赖的「语义骨架」;而具体的推理过程——规则的选取、组合与应用——则交还给语言模型自身的泛化能力。

职责的重新划分带来了明确的工程收益:本体不必追求逻辑完备性而陷入复杂公理化的泥沼,而是以简洁性和可维护性为前提,为模型输出提供稳定的语义坐标。

在此框架下,本体的构建须面向大语言模型的调用接口进行优化——其类定义与关系描述应便于模型理解与使用,结构化知识应便于模型检索与引用,约束规则应便于模型进行输出验证。这样的本体既非替代模型推理的符号引擎,亦非仅供查阅的静态背景资料,而是嵌入推理链路之中、可被实时调用与追溯的解释性基础设施。

可解释性的未来,解释模型vs解释影响

本文以J-Space为引,经由康德十二范畴的哲学奠基,最终落脚于大语言模型与本体工程的融合实践,完成了一条从神经科学到知识论、再到工程实现的思想线索。

贯穿其中的核心判断是:大语言模型的可解释性困境,并非仅仅源于模型内部机制的不可见性,更源于我们长久以来将「解释」等同于「透视」的思维惯性。著名科幻作家斯坦尼斯瓦夫·莱姆在其著作《索拉里斯星》里描述了一片覆盖整个星球、能读取人类记忆并将其具象化的胶质海洋,堪称「AI黑箱」的终极隐喻。

海洋能处理海量信息、生成超越人类预期的结果,但其底层逻辑对人类而言完全不可解码——它既非善意亦非恶意,只是遵循着人类无法参透的自身规律。

更悲观的是,海洋最终拒绝了人类「驯化」或理解它的一切尝试,暗示认知的终极边界或许客观存在。这一意象恰恰警示我们:即便我们能观测到模型「正在想什么」,也未必能理解它「为什么这样想」。

可解释性问题的真正难点,或许不在于技术手段的不足,而在于问题框架本身的窄化。

突破大语言模型可解释性的可行路径,不应局限于尝试「打开黑盒」这一单一方向,而应同等重视乃至更加重视对模型输出及其现实影响的观察、理解与控制。

本体工程在此提供了关键的实践框架:通过构建AI友好的、可被模型调用和追溯的语义骨架,我们得以将模型的推理锚定在明确定义的知识结构之上,使输出所依赖的类、属性和关系获得可形式化描述与可追溯验证的工程基础。

当模型的每一个陈述都可以被映射到本体所定义的概念框架中时,「解释」便不再是对神经网络权重的解剖,而是对知识结构的展示;当模型输出的依据可以在本体层面被追溯和校验时,「控制」便不再是强行干预内部激活,而是对信息流转路径的规范化管理。

这一视角的转换将可解释性从一项近乎不可能完成的技术挑战,转化为一项可通过工程手段持续逼近的治理目标——它要求我们不再执着于让模型变得完全透明,而是致力于让模型在现实世界中产生的影响变得可理解、可追溯、可问责。

通付盾一直在本文所探讨的本体工程与可解释性框架理念下深耕实践,公司核心产品LegionSpace正是基于上述技术理念构建。作为一个以本体为核的企业级AI基础设施,LegionSpace将模型所处理的信息、所依赖的知识纳入形式化本体工程,使每一次推理与决策都锚定在可解释的知识结构之上。

其愿景是让本体成为AI与人类理解之间的共同语言,使可解释性成为工程化治理现实。

本文来自微信公众号“新智元”,作者:ASI启示录

热门币种推荐

相关问答

QAnthropic团队通过J-Space研究实现的突破是什么?

AAnthropic团队的研究通过在Claude内部识别出可观测、可干预且具有因果效力的神经活动区域J-Space,使得研究者得以窥见模型推理过程中的‘内心独白’,标志着可解释性研究从对模型行为的解释迈向了对其内部状态的实时观测。

Q文章指出以J-Space为代表的内在主义可解释性研究有哪些主要局限?

A其局限在于:1. 预设答案藏在模型‘体内’,忽视了模型状态与世界事态、语义规范及使用者认知框架的关系。2. 将功能层面的同构性误认为认识论层面的等价性,模型并无心灵状态。3. 将‘可解释性’窄化为‘可观测性’和‘可干预性’,而传统知识论中的‘解释’含义更丰富,涉及提供理由、论证正当性等。

Q本文主张的可解释性新视角是什么?其核心观点是什么?

A本文主张将可解释性的追问从模型内部转向模型所处理的信息,即从神经科学的内在主义进路转向知识论的‘信息本体论’进路。核心观点是:模型输出文本的意义(即需要被解释的东西)存在于符号与世界、知识、人类实践的关系中,而非神经元的激活值里。因此,应将可解释性问题的核心从‘模型如何思考’转向‘模型处理了什么样的信息、这些信息具有怎样的本体论地位’。

Q康德的本体论(范畴理论)对AI可解释性有何启示?

A康德的范畴理论启示我们:可解释性的关键不在于内部神经元的物理激活(物自体层面),而在于信息被范畴化、结构化为可理解知识的过程(现象界层面)。它为分析模型输出提供了描述知识结构的概念框架(如实体、因果、模态等),并为评判模型输出的可理解性提供了标准:若其内部表征能映射到人类理解世界的范畴框架上,则具备被解释的基础。

Q本体工程如何与大语言模型融合以提升可解释性?

A本体工程与大语言模型是双向赋能的关系:一方面,大语言模型能以高效率协助完成类定义、关系抽取等本体构建任务,使本体构建更具可扩展性。另一方面,本体为模型提供结构化的知识底座、推理校验框架和解释锚定结构。通过构建‘AI友好的本体框架’,将模型的推理锚定在明确定义的类、属性和关系之上,使解释从‘透视黑箱’转向‘展示知识结构’,输出变得可追溯、可验证,从而将可解释性转化为可通过工程手段持续逼近的治理目标。

你可能也喜欢

习近平出席2026世界人工智能大会暨人工智能全球治理高级别会议开幕式并发表主旨讲话

7月17日上午,国家主席习近平在上海出席2026世界人工智能大会暨人工智能全球治理高级别会议开幕式并发表题为《携手构建公正合理的全球人工智能治理体系》的主旨讲话。 习近平指出,全球人工智能技术创新活跃,蕴含机遇也面临治理挑战。为让人工智能成为促进共同繁荣、维护共同安全的重要动力源,他提出四点意见:第一,坚持开放共赢,驱动创新发展,让人工智能赋能千行百业。第二,强化风险意识,确保安全可控,防范滥用,确保人工智能处于人类控制之下,反对在人工智能领域泛化国家安全概念。第三,鼓励包容并蓄,促进文明互鉴,以全人类共同价值塑造人工智能的价值观。第四,倡导和衷共济,完善全球治理,发挥联合国作用,形成全球治理框架,帮助发展中国家弥合数智鸿沟。 习近平强调,“十五五”规划为世界提供机遇。中国推进“人工智能+”行动,智能经济核心产业规模超万亿元,同时完善法规确保人工智能安全可控。作为负责任大国,中国致力于提供国际公共产品。中方响应全球南方呼吁推动成立的世界人工智能合作组织是重要里程碑。未来5年,中国将向发展中国家提供5000个人工智能培训名额,建设多个国际人工智能应用合作中心,推动气象智能预警方案在30国落地。中国愿与各方携手应对挑战,共创美好未来。 哈萨克斯坦、柬埔寨、泰国等国领导人和联合国秘书长致辞,高度评价中国贡献,支持中国倡议,呼吁国际合作共享人工智能红利,消除数智鸿沟。大会发表了主席声明。

链捕手1分钟前

习近平出席2026世界人工智能大会暨人工智能全球治理高级别会议开幕式并发表主旨讲话

链捕手1分钟前

谁在打造以太坊的未来:持币公司接管,可能是 ETH 多年来最好的事

本文探讨了以太坊生态系统资金结构的重大转变。随着以太坊基金会因财政可持续性问题收缩预算并裁员,新的资金力量正在介入——以 Bitmine 和 SharpLink 为代表的持有大量 ETH 的“财库公司”。这些公司合计持有流通量近5%的 ETH,并开始将部分质押收益直接用于资助以太坊的协议研发,例如支持新成立的 ETH Labs 等机构。 文章认为,这一转变可能对所有 ETH 持有者有利。与 MicroStrategy 等仅囤积比特币的公司不同,这些 ETH 持币公司正在将资本利得重新投入协议开发,相当于用其收益为整个网络的基础设施建设买单,让其他持有者“免费搭便车”。这种模式形成了更强的利益一致性,因为这些公司的成功与以太坊生态的繁荣直接绑定。 然而,文章也指出了潜在风险:这些财库公司本身的财务状况脆弱,其市值已低于其持有的 ETH 净值(mNAV < 1),且持仓处于浮亏状态。如果 ETH 价格持续低迷,其资助能力可能减弱。但总体而言,这标志著以太坊的开发资金正从单一的基金会模式,转向由具有深厚经济利益的机构参与者共同支持的更去中心化模式。 此外,文章还以 Jito 项目的最新治理提案(JIP-38)为例,分析了加密项目如何通过制度设计(如将收入直接导向DAO并用于代币回购销毁),实现将价值真正归于代币持有者,并强调了评估项目时应关注“资金管道”而非口头承诺。

marsbit1小时前

谁在打造以太坊的未来:持币公司接管,可能是 ETH 多年来最好的事

marsbit1小时前

交易

现货

热门文章

如何购买S

欢迎来到HTX.com!我们已经让购买Sonic(S)变得简单而便捷。跟随我们的逐步指南,放心开始您的加密货币之旅。第一步:创建您的HTX账户使用您的电子邮件、手机号码注册一个免费账户在HTX上。体验无忧的注册过程并解锁所有平台功能。立即注册第二步:前往买币页面,选择您的支付方式信用卡/借记卡购买:使用您的Visa或Mastercard即时购买Sonic(S)。余额购买:使用您HTX账户余额中的资金进行无缝交易。第三方购买:探索诸如Google Pay或Apple Pay等流行支付方法以增加便利性。C2C购买:在HTX平台上直接与其他用户交易。HTX场外交易台(OTC)购买:为大量交易者提供个性化服务和竞争性汇率。第三步:存储您的Sonic(S)购买完您的Sonic(S)后,将其存储在您的HTX账户钱包中。您也可以通过区块链转账将其发送到其他地方或者用于交易其他加密货币。第四步:交易Sonic(S)在HTX的现货市场轻松交易Sonic(S)。访问您的账户,选择您的交易对,执行您的交易,并实时监控。HTX为初学者和经验丰富的交易者提供了友好的用户体验。

2.9k人学过发布于 2025.01.15更新于 2026.06.02

如何购买S

相关讨论

欢迎来到HTX社区。在这里,您可以了解最新的平台发展动态并获得专业的市场意见。以下是用户对S(S)币价的意见。

活动图片