«La esencia de la explicación no radica en contemplar la máquina en sí, sino en examinar el mundo que la máquina contempla».
En julio de 2026, el equipo de investigación de Anthropic publicó "A global workspace in language models", identificando dentro de Claude, mediante una herramienta llamada J-lens, una región de actividad neuronal observable, intervenible y causalmente efectiva: el J-Space.
Este hallazgo atrajo una amplia atención porque permitió a los investigadores vislumbrar el "monólogo interior" del modelo durante su proceso de razonamiento, marcando un avance en la investigación de la explicabilidad, pasando de explicar el comportamiento del modelo a observar en tiempo real sus estados internos.
El J-Space toma como marco explicativo la teoría del espacio de trabajo global de la neurociencia cognitiva, analogando la actividad de razonamiento de los modelos de lenguaje con el procesamiento de información a nivel consciente humano, constituyendo un avance importante tanto en metodología como en epistemología, y proporcionando también una nueva dimensión de monitoreo para la seguridad de la IA.
Sin embargo, precisamente por su profundo impacto, es necesario examinar con cautela las limitaciones inherentes a este enfoque. La orientación fundamental de la investigación del J-Space es internalista: establece como problema central de la explicabilidad el "comprender qué sucede dentro del modelo", intentando escanear la actividad neuronal del modelo de lenguaje con la J-lens, como los neurocientíficos escanean el cerebro humano con resonancia magnética funcional (fMRI).
Este enfoque presupone que la respuesta a la explicabilidad está dentro del "cuerpo" del modelo. Sin embargo, si la salida de un modelo es comprensible o no, no solo depende de la visibilidad de sus estados internos, sino más aún de la relación entre estos estados y los estados de cosas en el mundo, las normas semánticas y los marcos cognitivos de los usuarios.
Comprender el discurso de un modelo solo observando su actividad neuronal es como comprender lo que dice una persona solo observando su actividad cerebral: podríamos capturar correlaciones neuronales, pero no habríamos tocado el significado del discurso en sí.
Además, el J-Space toma prestada la teoría del espacio de trabajo global, una teoría sobre la conciencia, para explicar los modelos de lenguaje. En este trasplante, ocurre sutilmente un error categorial: la isomorfía a nivel funcional se confunde erróneamente con la equivalencia a nivel epistemológico.
Los modelos no tienen experiencia subjetiva; los patrones de activación en el J-Space son solo el producto de cálculos matemáticos, no estados mentales en ningún sentido.
Un problema más profundo es que la investigación del J-Space es esencialmente un trabajo de orientación ingenieril, que reduce la "explicabilidad" a "observabilidad" e "intervenibilidad". Sin embargo, en la tradición epistemológica más amplia, el significado de "explicar" es mucho más rico: implica encuadrar fenómenos en marcos de leyes más generales, proporcionar razones y fundamentos, y también argumentar la justificación de las decisiones.
El J-Space puede decirnos "en qué está pensando" el modelo, pero no puede decirnos por qué el modelo piensa de esta manera, cuáles son las "razones" en las que se basa, y en qué sentido estas razones son "buenas" razones. Las respuestas a estas preguntas no están en los patrones de actividad neuronal.
Las limitaciones anteriores apuntan a un problema común: tanto el J-Space como toda la investigación de explicabilidad centrada en redes neuronales, toman siempre al "modelo en sí mismo" como único objeto de explicación; el inicio y el final del problema son el modelo.
Este artículo intenta proponer una perspectiva diferente: trasladar la pregunta por la explicabilidad desde el interior del modelo hacia la información que procesa el modelo, desde el enfoque internalista de la neurociencia hacia el enfoque "ontológico de la información" de la epistemología.
Esta transformación se basa en una observación sencilla: los grandes modelos de lenguaje son esencialmente procesadores de información; sus entradas y salidas son texto, y el significado de este texto —lo que realmente necesitamos explicar— no existe en los valores de activación de las neuronas, sino en la relación de estos símbolos con el mundo, con el conocimiento y con las prácticas humanas.
Cuando un modelo responde "París es la capital de Francia", lo que necesitamos explicar no es solo qué región interna del modelo se activó, sino en qué sistema de conocimiento es cierta esta afirmación, en qué se basa, cómo es la fiabilidad y justificación de estas bases, y cuál es la relación entre esta respuesta y el conocimiento geográfico humano existente. Ninguna de estas preguntas puede responderse escaneando la actividad neuronal.
Por lo tanto, este artículo propone desplazar el núcleo del problema de la explicabilidad de "cómo piensa el modelo" a "qué tipo de información procesa el modelo y qué estatus ontológico tiene esta información", expandiendo así el objeto de la explicabilidad desde el modelo mismo hacia todo el ecosistema de información en el que está inserto: incluyendo la estructura de los datos de entrenamiento, la forma de representación del conocimiento, el flujo de información durante el razonamiento y la relación de mapeo entre la salida y los sistemas de conocimiento externos.
La investigación de explicabilidad representada por el J-Space introdujo el paradigma neurocientífico en el campo de la inteligencia artificial. Su contribución radica en permitirnos vislumbrar "qué sucede dentro" del modelo. Sin embargo, su orientación internalista, su dependencia de analogías funcionales y la reducción del concepto de "explicación" por su perspectiva ingenieril, constituyen conjuntamente su triple limitación epistemológica.
Este artículo sostiene que para verdaderamente avanzar en el problema de la explicabilidad de los grandes modelos de lenguaje, es necesario superar la mirada fija en los estados internos del modelo y, en cambio, partir desde una perspectiva epistemológica para examinar sistemáticamente la base ontológica de la información que procesa el modelo: su origen, estructura, forma de representación, rutas de flujo y su relación con los sistemas de conocimiento externos. Es precisamente este cambio de perspectiva lo que constituye el punto de partida de esta investigación.
Origen ontológico, el fundamento filosófico de la explicabilidad
"Los conceptos sin intuiciones son vacíos, las intuiciones sin conceptos son ciegas".
Primero, planteemos una antigua pregunta filosófica: ¿Cómo entiende el ser humano el mundo? Kant dio una respuesta clásica en "Crítica de la razón pura": consideraba que la mente humana no recibe pasivamente estímulos externos, sino que está equipada innatamente con doce "conceptos puros del entendimiento" ("las doce categorías") como marco formal de la cognición.
Kant derivó estas categorías de las doce formas del juicio lógico humano, clasificándolas en cuatro grupos: cantidad, cualidad, relación y modalidad. La cantidad se refiere a "cuánto", la cualidad a "cómo es", la relación a las conexiones entre cosas, y la modalidad a la manera de existir.
La teoría de las categorías de Kant es esencialmente un compromiso ontológico sobre la "inteligibilidad": solo aquello que pueda encuadrarse bajo estas doce categorías puede convertirse en objeto de conocimiento; lo que está más allá del marco, la "cosa en sí", es siempre incognoscible. Esto significa que la "ontología" en sentido kantiano ya no pregunta qué es el mundo "en sí mismo", sino "cómo se nos presenta el mundo".
La profunda revelación para la explicabilidad de la IA es esta: cuando explicamos la salida de un modelo de lenguaje, lo que realmente es "explicable" no es la activación física interna de las neuronas, sino el proceso por el cual la información es categorizada, estructurada, convertida en conocimiento inteligible. La activación neuronal pertenece al nivel de la cosa en sí, mientras que el significado discursivo de la salida del modelo pertenece al nivel del fenómeno; solo cuando se coloca dentro de algún marco de estructura cognitiva puede ser comprendido y evaluado.
La ontología es la "clave" de la explicabilidad de la IA. A nivel analítico, proporciona un marco conceptual completo para describir las formas estructuradas de la información procesada por el modelo: podemos preguntar si un enunciado implica implícitamente una atribución de "sustancia y accidente", un juicio de "causalidad" o un compromiso "modal", describiendo así sistemáticamente qué estructura de conocimiento construye el modelo, en lugar de decir vagamente "el modelo parece entender la causalidad".
A nivel normativo, proporciona criterios de evaluación para la explicabilidad: si en las representaciones internas del modelo efectivamente se forman patrones estructurados correspondientes a la ontología, su salida tiene la base para ser comprendida; si no pueden mapearse en estas categorías ontológicas, entonces sin importar cuán fluida sea la salida, en sentido epistemológico es inexplicable.
Tomar las categorías kantianas como clave filosófica para la explicabilidad no significa afirmar que el modelo debe "poseer" estas categorías. Las categorías de Kant son condiciones cognitivas a priori del sujeto, mientras que para el modelo es un problema de implementación funcional; puede que a través de diferentes rutas de cálculo neuronal distinga funcionalmente de manera equivalente las diferencias de sustancialidad, causalidad o modalidad.
El punto clave es: la explicabilidad no requiere que el mecanismo interno del modelo sea transparente hasta el nivel de cada peso, sino que requiere que podamos confirmar si la estructura formada por el modelo a nivel de procesamiento de información se mapea en el marco de categorías que los humanos usamos para entender el mundo.
De la teoría a la práctica: la fusión de la ingeniería ontológica y los grandes modelos de lenguaje
La ontología proporciona la respuesta normativa sobre "cómo debería ser la estructura inteligible", pero esta respuesta en sí misma no se transforma automáticamente en un sistema técnico ejecutable. La ontología sin el soporte de la ingeniería ontológica es solo un juego conceptual suspendido en el aire.
La ingeniería ontológica, como área práctica que instancia las categorías filosóficas en entidades técnicas computables, mantenibles y trazables, constituye el puente imprescindible desde la teoría hasta la aplicación.
En el problema de la explicabilidad de la inteligencia artificial, la relación entre ontología e ingeniería ontológica es especialmente fundamental: la primera nos dice qué tipo de estructuras de conocimiento debemos investigar, la segunda se encarga de construir efectivamente tales estructuras entre modelos, datos y sistemas.
La aparición de los grandes modelos de lenguaje ha dado a la ingeniería ontológica un impulso de desarrollo sin precedentes y, a su vez, ha planteado nuevos desafíos ingenieriles. La construcción tradicional de ontologías dependía de la participación manual de expertos del dominio, con procesos largos, costos altos y dificultad para adaptarse al ritmo de actualización del conocimiento y la evolución del dominio.
Los grandes modelos de lenguaje, con su capacidad para extraer patrones semánticos y asociaciones de conocimiento de grandes volúmenes de texto, están remodelando fundamentalmente la forma de práctica de la ingeniería ontológica.
En tareas centrales del aprendizaje ontológico como la definición de clases, la extracción de relaciones y la construcción de atributos, los modelos de lenguaje pueden completar la extracción estructurada de conocimiento a gran escala con una eficiencia muy superior al trabajo manual. Más crucial aún, la sensibilidad semántica que muestran los modelos de lenguaje al identificar relaciones jerárquicas, de sinonimia y de asociación entre conceptos, hace que la construcción de ontologías evolucione desde la "elaboración manual por expertos" hacia la "producción colaborativa humano-máquina" e incluso la "construcción generativa automática".
El significado de este cambio no está solo en la mejora de eficiencia: dota a la construcción de ontologías de una escalabilidad y cobertura de dominio sin precedentes, haciendo que la situación original, donde solo unos pocos dominios clave podían contar con soporte ontológico, comience a abrirse a más escenarios verticales y dominios de conocimiento de rápida evolución.
Al mismo tiempo, el empoderamiento inverso de la ingeniería ontológica es igualmente ineludible. Los grandes modelos de lenguaje son sin duda poderosos, pero la invisibilidad de sus procesos de razonamiento, la inverificabilidad de sus salidas y la dependencia de las regularidades estadísticas de los datos de entrenamiento, constituyen conjuntamente el obstáculo fundamental para la explicabilidad.
El papel ingenieril que juega aquí la ontología es múltiple: como proveedor de conocimiento estructurado, proporciona al modelo una base de conocimiento del dominio verificada; como marco de validación del razonamiento, aplica restricciones de consistencia y calibración lógica a la salida del modelo; y más fundamentalmente, como estructura de anclaje para la explicación, permite que cada paso del razonamiento del modelo pueda mapearse sobre clases, atributos y relaciones claramente definidos.
Cuando la salida de un modelo puede rastrearse hasta los ítems ontológicos de los que depende, la explicación ya no depende de conjeturas sobre los estados internos de la red neuronal, sino que se construye sobre el rastreo de la estructura del conocimiento mismo. Esta es la base ingenieril para el cambio de la explicabilidad desde "ver a través de la caja negra" hacia "mostrar la estructura de conocimiento": el primero enfrenta dificultades técnicas insuperables, mientras que el segundo es un problema ingenieril diseñable, optimizable y verificable.
En esta fusión bidireccional, el "marco ontológico amigable para la IA" se convierte en una proposición ingenieril clave. Las ontologías tradicionales se diseñan para motores de razonamiento de lógica descriptiva, cuya sintaxis, axiomas y mecanismos de inferencia se optimizan en torno a la deducción simbólica determinista; la intervención de los grandes modelos de lenguaje ha cambiado fundamentalmente la forma del consumidor y los escenarios de uso de las ontologías.
Este cambio requiere ajustes correspondientes en los principios de diseño ontológico: la ontología debe converger en sus responsabilidades, enfocándose en definir claramente los objetos, relaciones, comportamientos y reglas en el dominio, es decir, proporcionar al modelo el "esqueleto semántico" en el que se basa el razonamiento; mientras que el proceso de razonamiento específico —la selección, combinación y aplicación de reglas— se delega a la capacidad de generalización del propio modelo de lenguaje.
Esta nueva división de responsabilidades trae beneficios ingenieriles claros: la ontología no necesita perseguir la completitud lógica y caer en el pantano de la axiomatización compleja, sino que prioriza la concisión y la mantenibilidad, proporcionando coordenadas semánticas estables para la salida del modelo.
En este marco, la construcción de ontologías debe optimizarse para las interfaces de invocación de los grandes modelos de lenguaje: sus definiciones de clases y descripciones de relaciones deben facilitar la comprensión y uso por parte del modelo, el conocimiento estructurado debe facilitar la recuperación y referencia del modelo, y las reglas de restricción deben facilitar la validación de la salida del modelo. Tal ontología no es ni un motor simbólico que reemplace el razonamiento del modelo, ni información de fondo estática solo para consulta, sino una infraestructura explicativa incrustada en la cadena de razonamiento, invocable y rastreable en tiempo real.
El futuro de la explicabilidad: explicar el modelo vs. explicar el impacto
Este artículo toma el J-Space como punto de partida, pasa por la fundamentación filosófica de las doce categorías kantianas, y finalmente se posa en la práctica de fusión entre los grandes modelos de lenguaje y la ingeniería ontológica, completando una línea de pensamiento desde la neurociencia hacia la epistemología y luego hacia la implementación ingenieril.
El juicio central que atraviesa todo es: la dificultad de la explicabilidad de los grandes modelos de lenguaje no surge solo de la invisibilidad de sus mecanismos internos, sino más aún de nuestra inercia mental de largo plazo que equipara "explicar" con "ver a través". El famoso escritor de ciencia ficción Stanisław Lem, en su obra "Solaris", describe un océano gelatinoso que cubre todo el planeta y puede leer la memoria humana y materializarla, una metáfora suprema de la "caja negra de la IA".
El océano puede procesar enormes cantidades de información y generar resultados que superan las expectativas humanas, pero su lógica subyacente es completamente indescifrable para los humanos: no es ni benévolo ni malévolo, solo sigue sus propias leyes que los humanos no pueden descifrar.
Lo más pesimista es que el océano finalmente rechaza todos los intentos humanos de "domesticarlo" o entenderlo, sugiriendo que quizás existe objetivamente un límite último del conocimiento. Esta imagen nos advierte precisamente: incluso si podemos observar "en qué está pensando" el modelo, no necesariamente podremos entender "por qué piensa así".
La verdadera dificultad del problema de la explicabilidad quizás no esté en la insuficiencia de los medios técnicos, sino en el estrechamiento del marco del problema en sí.
La ruta factible para superar la explicabilidad de los grandes modelos de lenguaje no debería limitarse a intentar "abrir la caja negra" como única dirección, sino que debería prestar igual o mayor atención a la observación, comprensión y control de la salida del modelo y su impacto en el mundo real.
La ingeniería ontológica proporciona aquí un marco práctico clave: al construir un esqueleto semántico amigable para la IA, invocable y rastreable por el modelo, podemos anclar el razonamiento del modelo en una estructura de conocimiento claramente definida, dando a las clases, atributos y relaciones en los que se basa la salida una base ingenieril formalmente descriptible y verificable por trazabilidad.
Cuando cada afirmación del modelo puede mapearse al marco conceptual definido por la ontología, "explicar" deja de ser la disección de los pesos de la red neuronal y se convierte en la exhibición de la estructura de conocimiento; cuando las bases de la salida del modelo pueden rastrearse y validarse a nivel ontológico, "controlar" deja de ser la intervención forzada de activaciones internas y se convierte en la gestión normativa de las rutas de flujo de información.
Este cambio de perspectiva transforma la explicabilidad de un desafío técnico casi imposible en un objetivo de gobernanza al que se puede aproximar continuamente mediante medios ingenieriles: exige que ya no nos obsesionemos con hacer al modelo completamente transparente, sino que nos dediquemos a hacer que el impacto del modelo en el mundo real sea comprensible, trazable y exigible.
通付盾 (Tongfudun) ha estado profundizando en la práctica bajo el marco de ideas de ingeniería ontológica y explicabilidad discutido en este artículo. El producto central de la empresa, LegionSpace, se construye precisamente sobre esta filosofía técnica. Como infraestructura de IA empresarial centrada en la ontología, LegionSpace incorpora la información procesada y el conocimiento del que depende el modelo en un proyecto de ingeniería ontológica formal, anclando cada inferencia y decisión en una estructura de conocimiento explicable.
Su visión es hacer de la ontología el lenguaje común entre la IA y la comprensión humana, haciendo de la explicabilidad una realidad de gobernanza ingenieril.
Este artículo proviene del WeChat Official Account "新智元", autor: ASI启示录
