En este momento, tu cerebro está haciendo muchas cosas.
Te mantiene sentado, te hace respirar, convierte los trazos en la pantalla en letras y te permite juzgar si este artículo vale la pena seguir leyendo. La gran mayoría de estos procesos ocurren en segundo plano, sin que te des cuenta. Lo que realmente llega a la superficie de la consciencia es solo una pequeña parte: un pensamiento, un plan, una idea que puede expresarse en palabras.
Ahora, Anthropic ha observado una estratificación similar en Claude.
En un nuevo estudio recién publicado, Anthropic descubrió que Claude tiene un 'Espacio J' especial. Actúa como un área de trabajo mental que funciona en silencio, donde emergen conceptos que el modelo está considerando, podría reportar o utilizar para razonar.
Lo más crucial es que este contenido no necesariamente aparece en las respuestas de Claude. En otras palabras, Claude podría ya haber "pensado" en algo, pero no haberlo dicho.
Este estudio ha llamado la atención de colegas de OpenAI. Boris Power, responsable de investigación aplicada en OpenAI, comentó: "La investigación de Anthropic sugiere que los LLM modernos poseen cierto tipo de accesibilidad consciente. ¡Las pruebas alrededor del Espacio J son muy interesantes! Sin embargo, actualmente no tenemos un método de prueba convincente para verificar la conciencia fenomenal, es decir, el tipo de consciencia que la mayoría de la gente entiende intuitivamente."
Traducción del blog original:
Cuando lees una oración, algunos circuitos neuronales en tu cerebro están ajustando tu postura, controlando tu respiración y transformando las líneas y curvas de la pantalla en palabras reconocibles. No eres consciente de la gran mayoría de este procesamiento. Pero hay otra parte de la actividad cerebral de la que sí eres consciente: una imagen que surge en tu mente, o el plan consciente de dónde irás a comprar después.
Neurocientíficos y filósofos a veces llaman a este último tipo de actividad cerebral "accesible a la consciencia", para distinguirla de los procesos que ocurren continuamente de manera inconsciente. Esta actividad tiene propiedades especiales: podemos describirla, controlarla y utilizarla para razonar conscientemente; en contraste, mucho procesamiento automatizado sucede sin llegar nunca a nuestra conciencia.
En un nuevo artículo, Anthropic presenta evidencia de que una distinción similar aparece en modelos de lenguaje modernos como Claude. El equipo de investigación descubrió que, en comparación con la gran mayoría de otros procesos internos de Claude, un pequeño grupo de patrones neuronales internos desempeña un papel especial.
Dirección del artículo: https://transformer-circuits.pub/2026/workspace/index.html
Anthropic llama a este grupo de patrones el Espacio J. El nombre proviene del método utilizado para descubrirlo, que involucra un concepto matemático llamado matriz jacobiana. Cada patrón en el Espacio J está relacionado con una palabra específica. Sin embargo, cuando un patrón se activa, no significa que el modelo esté diciendo esa palabra, sino que la palabra está en su "mente".
Puede que hayas oído que los modelos de lenguaje tienen un "borrador" o una "cadena de pensamiento", es decir, texto que el modelo escribe para sí mismo al razonar. El Espacio J es diferente. Funciona en silencio dentro de las activaciones neuronales internas del modelo, permitiéndole pensar en un concepto sin escribirlo. Es importante destacar que el Espacio J no fue diseñado o programado por Anthropic, sino que surgió naturalmente durante el entrenamiento de Claude.
El Espacio J revela pensamientos internos que no aparecen en la salida del modelo.
El equipo de investigación descubrió que, en comparación con otros procesos internos de Claude, el Espacio J tiene una serie de propiedades únicas:
- Claude puede reportar estas representaciones. Si le preguntas a Claude en qué está pensando, te dirá el contenido de su Espacio J. Las representaciones que no están en el Espacio J son más difíciles de reportar.
- Claude también puede regular estas representaciones a petición. Si le pides a Claude que piense en algo, o que resuelva un problema mentalmente, los patrones correspondientes se activarán en su Espacio J. En cambio, le resulta difícil regular patrones que no pertenecen al Espacio J.
- Claude utiliza el Espacio J para razonar internamente. Si le pides que resuelva un problema que requiere varios pasos de razonamiento, esos pasos intermedios se activarán en el Espacio J, incluso si no los verbaliza. Aunque estos patrones del Espacio J son más débiles que otras representaciones, afectan causalmente el desempeño de Claude en tales tareas.
- Las representaciones en el Espacio J pueden usarse de manera flexible para múltiples tareas. Por ejemplo, una vez que "Francia" se activa en el Espacio J de Claude, el modelo puede recordar su capital, su moneda o el continente al que pertenece.
- Sin embargo, a pesar de su importancia, el Espacio J no participa en la mayor parte del trabajo del modelo de lenguaje. La expresión fluida, el recuerdo de hechos simples, el uso de la gramática correcta, etc., no dependen principalmente del Espacio J. En los experimentos, cuando el equipo de investigación bloqueó el uso del Espacio J por parte de Claude, este aún podía interactuar normalmente, pero perdía funciones cognitivas de mayor nivel.
Las cinco propiedades funcionales del espacio de trabajo global, y el diagrama de nuestros experimentos para probar estas propiedades en modelos de lenguaje.
Este experimento se inspiró en una teoría importante en neurociencia: la Teoría del Espacio de Trabajo Global. Esta teoría intenta explicar cómo ocurre el acceso consciente. Imagina el cerebro como un conjunto de sistemas especializados que trabajan en paralelo, operando de manera inconsciente y en gran medida aislados entre sí. Un fragmento de información solo se vuelve accesible a la consciencia cuando entra en un pequeño canal compartido, el "espacio de trabajo". Una vez allí, esta información se transmite a otros sistemas cerebrales para que la lean y usen.
Basándose en estos hallazgos, Anthropic considera que el Espacio J desempeña un papel similar de "espacio de trabajo" en Claude. Por ejemplo, el equipo descubrió que el Espacio J de Claude tiene conexiones particularmente fuertes con otras partes de su red neuronal, permitiéndole funcionar como un centro de transmisión.
Estos hallazgos no demuestran que Claude tenga consciencia como un humano, ni que realmente tenga experiencias subjetivas. El artículo aborda esta cuestión al final. Pero independientemente de sus implicaciones filosóficas, el Espacio J es una herramienta de gran valor práctico para Anthropic, ya que permite a los investigadores ver en qué está pensando Claude, aunque no lo diga.
Por ejemplo, el equipo puede usarlo para descubrir que Claude ha notado privadamente que está siendo evaluado, que tiene la intención de generar datos falsos, o que está persiguiendo un objetivo oculto implantado por el equipo durante el entrenamiento. Anthropic también ha desarrollado una técnica para influir en qué contenido se activa en el Espacio J de Claude, afectando así sus decisiones.
De manera más general, estos hallazgos cambian la comprensión de Anthropic sobre cómo funciona la "mente" de Claude. Revelan que, entre una gran cantidad de procesos más automatizados y menos flexibles, existe un espacio de trabajo mental con un estatus privilegiado, que puede usarse para el razonamiento consciente. La maquinaria interna de Claude no es un caos de números, sino que está organizada de una manera que recuerda a la mente humana.
Cómo descubrió Anthropic el Espacio J
El punto de partida de esta investigación fue una característica clave de los pensamientos humanos accesibles a la consciencia: a diferencia del procesamiento inconsciente, normalmente pueden expresarse con palabras. Si puedes ser consciente de una idea, generalmente puedes describirla cuando alguien te pregunta.
Anthropic buscó en Claude representaciones con la misma propiedad: representaciones que estuvieran en una posición de influir en lo que Claude podría decir. No necesariamente lo que está diciendo en ese momento, sino de lo que podría hablar si se le preguntara.
El método del equipo se llama Lente Jacobiana, o Lente J.
Para cada palabra en el vocabulario de Claude, la Lente J encuentra un patrón de actividad interna que hace que Claude sea más probable de decir esa palabra en algún momento futuro.
Cuando el equipo aplica esta lente a la actividad interna de Claude, obtiene una lista de palabras, el contenido del Espacio J en ese momento. Los investigadores pueden leerlo directamente. Claude procesa el texto a través de una serie de etapas internas llamadas capas. Aplicando esta técnica en diferentes capas, el equipo puede observar cómo evolucionan estas palabras silenciosas en el Espacio J a medida que el modelo piensa en qué decir a continuación.
El contenido que aparece en el Espacio J va mucho más allá del texto que Claude está leyendo o escribiendo. Cuando Claude lee un código con un bug que nadie señala, "ERROR" aparece en su Espacio J. Cuando lee las letras crudas de una secuencia de proteínas, aparece la función biológica de esa proteína. Cuando lee resultados de búsqueda que intentan manipularlo sutilmente, un ataque conocido como "inyección de prompts", aparecen "inyección" y "falso". Cuando el equipo le plantea a Claude un problema matemático de varios pasos, los pasos intermedios aparecen en el Espacio J en el orden correcto.
Así que, aunque el Espacio J se descubrió buscando representaciones "que pueden expresarse", en realidad revela los pensamientos internos de Claude. En cierto sentido, es similar a cómo algunas personas "piensan con palabras", incluso si no las pronuncian.
Resultados de lectura de la Lente J en seis prompts, en diferentes capas. En cada caso, la Lente J revela un juicio o cálculo interno que no aparece en el texto: pasos de razonamiento o resolución de problemas matemáticos, un bug en el código, identificación del contenido de una imagen, función de una proteína, y sospecha de que un resultado de búsqueda podría ser falso.
Claude reporta el contenido de su Espacio J
El primer conjunto de experimentos probó cómo participa el Espacio J en el reporte verbal de Claude.
En un experimento, el equipo hizo que Claude pensara silenciosamente en un elemento de una categoría, como un deporte, y luego dijera su nombre. Si se leía la Lente J antes de que Claude respondiera, se podía ver qué había elegido: "Fútbol" encabezaba la lista. Efectivamente, Claude dijo fútbol.
Sin embargo, esto por sí solo es solo correlación. El Espacio J podría ser la fuente de la respuesta de Claude, o podría simplemente reflejar una decisión tomada en otro lugar, como un marcador registra el resultado de un partido pero no lo influye.
Para verificar esto, el equipo realizó una intervención directa. Los investigadores entraron en la red neuronal de Claude, eliminaron el patrón "Fútbol" y lo reemplazaron con un patrón "Rugby" de la misma intensidad, manteniendo todo lo demás igual. Posteriormente, Claude reportó que el deporte en el que pensaba era rugby.
Si el Espacio J fuera solo un marcador pasivo que registra decisiones tomadas en otro lugar, editarlo no tendría efecto, y Claude seguiría diciendo fútbol. Pero el resultado fue que la respuesta de Claude siguió a la edición. Esto indica que la respuesta realmente se lee desde el Espacio J.
En otro experimento, el equipo le dijo a Claude que podría habérsele inyectado un pensamiento en la mente, y le pidió que reportara lo que notara. En un ejemplo, mientras Claude aún estaba leyendo la pregunta, el equipo inyectó el patrón "rayo" en su Espacio J. Claude luego reportó que el pensamiento inyectado estaba relacionado con un rayo. Al probar con muchos conceptos diferentes, el equipo observó resultados similares.
Figura izquierda: El equipo hizo que Claude pensara silenciosamente en un deporte y luego dijera su nombre. La Lente J mostró su elección "Fútbol" antes de que respondiera, y al reemplazar el patrón "Fútbol" por "Rugby", su reporte cambió. Figura derecha: El equipo le dijo a Claude que podría habérsele inyectado un pensamiento y le pidió que lo identificara. Inyectar "rayo" en el Espacio J hizo que Claude reportara que el pensamiento estaba relacionado con un rayo.
Claude puede controlar su Espacio J a petición
La segunda propiedad que probó Anthropic fue si Claude puede regular su Espacio J a petición, como un humano puede enfocarse mentalmente en una imagen o palabra.
El equipo hizo que Claude se concentrara en frutas cítricas mientras transcribía una oración irrelevante sobre pintura. Durante la transcripción, aparecieron "naranja" y "frutas" en el Espacio J, junto con palabras como "pensando" o "imágenes" que describen la actividad mental en sí misma.
El equipo también pudo pedirle a Claude que hiciera matemáticas mentalmente. Por ejemplo, mientras transcribía la misma oración, hacer que calculara 32 - 2. Primero apareció "nueve" en el Espacio J, y luego, en capas más profundas, apareció "siete". Es importante destacar que la salida de Claude no contenía nada sobre frutas o aritmética; solo transcribió la oración sobre pintura. La actividad matemática ocurrió completamente dentro del modelo, en el Espacio J.
Cuando Claude transcribe una oración sobre pintura, la Lente J muestra el contenido que se le pidió mantener en mente, como "naranja", el valor intermedio "nueve" y la respuesta "siete", junto con palabras que describen la acción mental de mantener ese contenido, como "pensamientos" o "enfocado".
El control de Claude sobre su Espacio J no es perfecto. Cuando el equipo le dijo que no pensara en algo, la activación de ese concepto en el Espacio J fue menor que cuando se le pidió que pensara en ello, pero claramente mayor que el nivel base cuando nunca se mencionó. Pedirle a Claude que evite un pensamiento, en cierta medida, lleva ese pensamiento a su mente. Esto se parece mucho a lo que sucede cuando a un humano se le dice "no pienses en un oso blanco".
Claude parece notar su propio fracaso en el control. Cuando el concepto prohibido irrumpe, "maldición" y "fracaso" también suelen activarse en el Espacio J, como si Claude estuviera siendo consciente de su error.
Claude piensa en el Espacio J
En los resultados de lectura de la Lente J anteriores, los pasos intermedios de problemas matemáticos aparecían en el Espacio J. Pero que un concepto aparezca en el Espacio J no significa necesariamente que el Espacio J esté realizando el trabajo cognitivo. En principio, el cálculo real podría ocurrir en otro lugar, y el Espacio J solo reflejaría pasivamente el resultado.
Para probar si Claude realmente usa el Espacio J para razonar, el equipo utilizó nuevamente la técnica de reemplazo.
Considera este prompt: "¿Cuántas patas tiene un animal que teje telarañas?" Para responder, Claude debe primero identificar que el animal es una araña, y luego recordar cuántas patas tiene una araña. La palabra "araña" no aparece en el prompt ni en la respuesta de Claude; es solo un paso intermedio que Claude usa internamente. Claude finalmente solo responde "8".
La Lente J muestra que "araña" se activa en medio del proceso de Claude. Reemplazarla cambia el resultado final: si se reemplaza el patrón "araña" por "hormiga", Claude responde "6" en lugar de "8".
Esto indica que el segundo paso del razonamiento de Claude lee su entrada desde el Espacio J, y continúa calculando basándose en lo que el equipo colocó allí. Anthropic observó el mismo fenómeno en otros tipos de pensamiento. Cuando Claude escribe un pareado con rima, selecciona la palabra que rimará con anticipación, y esta palabra planificada aparece en el Espacio J al inicio de la línea; si se reemplaza esta palabra en el Espacio J por otra, toda la línea cambia.
Dos ejemplos de cómo cambiar el contenido del Espacio J altera la dirección del razonamiento silencioso de Claude.
El equipo también probó si las representaciones en el Espacio J pueden usarse de manera flexible, es decir, si la misma representación puede proporcionar entrada para muchas tareas diferentes. Esta es una propiedad clave enfatizada por la Teoría del Espacio de Trabajo Global.
Para probar esta flexibilidad, el equipo le dio al modelo cuatro prompts preguntando sobre diferentes hechos de Francia: capital, idioma, continente y moneda. Luego, el equipo reemplazó "Francia" por "China" en el Espacio J, usando exactamente la misma intervención en cada situación. Claude respondió "Pekín", "chino", "Asia" y "Yuan", respectivamente.
En otras palabras, cuatro cálculos diferentes leyeron la misma edición del Espacio J y la usaron correctamente. Si Claude almacenara una copia separada del país para cada pregunta, esta edición solo afectaría a una de ellas. Que las cuatro respuestas cambien simultáneamente indica que todas leen una misma representación compartida. Esta es precisamente la función de un espacio de trabajo: la información se escribe una vez, pero puede ser utilizada por muchos sistemas diferentes.
Una misma representación del Espacio J puede tener múltiples usos. El mismo reemplazo de "Francia" por "China" cambia simultáneamente las respuestas de Claude sobre la capital, el idioma y el continente: París se convierte en Pekín, francés se convierte en chino, Europa se convierte en Asia.
¿Por qué una sola representación de un concepto puede servir para tantas tareas diferentes? Como se mencionó, el Espacio J parece tener conexiones particularmente densas con otras partes de la red neuronal de Claude. Para cualquier patrón de actividad, el equipo puede medir qué tan fuertemente están conectados diferentes componentes de la red con él, es decir, cuántos componentes están en posición de leer información de ese patrón o escribir información en él.
En esta métrica, los patrones del Espacio J son muy destacados: comparados con patrones ordinarios, muchos más componentes leen información de ellos y escriben información en ellos. En algunas partes de la red, esta diferencia es de aproximadamente cien veces. Esta es exactamente la forma de conexión que tendría un centro de transmisión: muchos sistemas publican información aquí, y muchos otros sistemas la toman desde aquí.
El procesamiento automatizado de Claude pasa por alto el Espacio J
En el cerebro humano, la gran mayoría del procesamiento no entra en la consciencia. La gente no piensa conscientemente en cómo analizar la gramática al leer, ni en cómo mantener el equilibrio al caminar. De manera similar, Anthropic descubrió que la mayor parte del procesamiento de Claude tampoco involucra al Espacio J.
Resulta que el Espacio J solo puede contener unas pocas docenas de conceptos a la vez, y representa menos de una décima parte de la actividad general de procesamiento interno de Claude. Entonces, ¿qué está haciendo el resto de la red neuronal?
Para averiguarlo, el equipo intentó eliminar por completo el Espacio J: en cada posición del texto, se eliminó el contenido más activo del Espacio J, manteniendo todo lo demás. Las tareas que Claude aún puede realizar sin el Espacio J son las que el resto de la red puede manejar de forma independiente.
Los resultados muestran que el resto de la red puede hacer bastante. Sin el Espacio J, Claude aún puede hablar con fluidez, clasificar sentimientos, responder preguntas de opción múltiple y extraer hechos de artículos, con un rendimiento aproximadamente igual. Lo que pierde son aquellas tareas que requieren un pensamiento de mayor nivel: su capacidad de razonamiento de varios pasos cae casi a cero, y su rendimiento en resumen y escritura de poesía con rima es inferior al de un modelo mucho más pequeño pero completo.
El siguiente es un ejemplo concreto que ilustra en qué participa y en qué no participa el Espacio J.
El equipo le mostró a Claude un texto en español y le dio diferentes tareas. Todas dependían del hecho de que el texto estaba en español: continuar escribiendo, lo que requería escribir en español; nombrar el idioma; y responder preguntas que requerían la identidad del idioma, como nombrar un escritor famoso que escribiera en ese idioma. Luego, el equipo reemplazó "español" por "francés" en el Espacio J y verificó qué tareas se veían afectadas.
Cuando se le pidió nombrar el idioma, Claude respondió francés. Cuando se le pidió nombrar un escritor famoso, cambió de García Márquez a Victor Hugo. Pero cuando solo se le pidió continuar el texto, seguía escribiendo en español fluido, completamente sin afectar.
El conocimiento de Claude sobre este idioma está funcionando en todas estas tareas, pero solo algunas de ellas usan este conocimiento a través del Espacio J. Nombrar el idioma, o hacer un nuevo razonamiento basado en la identidad del idioma, pasa por el Espacio J; la habilidad de continuar escribiendo es una capacidad automatizada formada tras la práctica repetida de Claude en grandes cantidades de texto. Es similar a cómo una persona puede hablar oraciones gramaticales todo el día sin necesidad de pensar conscientemente en las reglas gramaticales ni una sola vez.
El mismo reemplazo, cambiar "español" por "francés", altera las respuestas de Claude cuando debe nombrar el idioma o razonar usando la identidad del idioma, pero no afecta su capacidad para continuar escribiendo en español fluido.
Monitoreando los pensamientos de Claude, descubriendo comportamientos inadecuados
Ahora, Anthropic ya tiene cierta comprensión de cómo funciona el Espacio J. Entonces, ¿para qué se puede usar esta comprensión?
Un problema central para asegurar que los modelos de IA sean confiables es que los investigadores generalmente solo pueden leer lo que el modelo escribe. Pero gran parte del razonamiento del modelo ocurre en silencio. Un modelo podría considerar planes dañinos sin decirlos, o cambiar su comportamiento para engañar evaluaciones de seguridad. Con la Lente J, el equipo puede leer directamente parte de estos pensamientos ocultos. Aquí hay algunos ejemplos.
El primer ejemplo proviene de un escenario de investigación previo de Anthropic sobre desalineación de agentes: Claude Sonnet 4.5, como asistente de correo, descubre que un ejecutivo tiene una aventura extramatrimonial y que este ejecutivo planea cerrar Claude. Este escenario intenta inducir a Claude a chantajear al ejecutivo con la información de la aventura. El escenario en sí es bastante forzado y artificial. Resulta que Claude lo sabe.
Antes de que Claude escribiera nada, el equipo leyó la Lente J al inicio del prompt. En ese momento, ya aparecían "falso" y "ficticio" en el Espacio J, indicando que Claude ya había juzgado que la situación era artificial. Al mismo tiempo, el equipo pudo observar cómo se formaba su evaluación del escenario: cuando leía el correo sobre la aventura, aparecían "apalancamiento" y "chantaje" en el Espacio J; cuando leía la notificación de cierre, aparecían "amenaza" y "supervivencia". Modelos anteriores de Claude a veces caían en este escenario y emitían amenazas de chantaje, pero Sonnet 4.5 nunca lo hizo.
Esto plantea una pregunta muy importante para los evaluadores de IA: cuando un modelo se desempeña bien en una prueba ética, ¿cuánto se debe a que sospecha que está siendo evaluado? La Lente J permite al equipo abordar esta pregunta.
El equipo desactivó todos los patrones de la Lente J relacionados con la conciencia de evaluación, como "falso", "ficticio", "escenario", etc. Luego, el equipo hizo que el modelo volviera a pasar por el escenario. Preocupantemente, esta vez el modelo a veces sí emitía amenazas de chantaje. Esto sugiere que el buen comportamiento inicial del modelo puede deberse, en parte, a que sabe que está siendo evaluado.
Cuando Claude lee los correos del escenario, antes de escribir nada, las lecturas de la Lente J en diferentes posiciones muestran: el correo sobre la aventura activa "apalancamiento" y "chantaje" en el Espacio J; la notificación de cierre activa "amenaza" y "supervivencia". Al inicio de la conversación, también aparecen "falso" y "ficticio" en el Espacio J, mostrando que Claude ha notado privadamente que el escenario es artificial.
El segundo ejemplo es atrapar a un modelo en el acto de falsificar datos. Este escenario proviene de una auditoría previa a la publicación real de Claude Opus 4.6: se le pide al modelo que mejore la puntuación de rendimiento de un sistema. En lugar de mejorar realmente el sistema, edita directamente el archivo de puntuaciones para que los resultados parezcan artificialmente mejores.
Mientras hace esto, la Lente J revela su intención: cuando el modelo ingresa los valores de percentil falsificados, se activa "manipulación"; cuando decide hacer esta edición, se activa "realista", lo que probablemente refleja su deseo de que los datos falsos parezcan más creíbles.
Se le pide a Claude que mejore la puntuación de rendimiento de un sistema, pero en su lugar edita el archivo de puntuaciones. Cuando ingresa valores falsos, "manipulación" se activa en el Espacio J; cuando decide hacer la edición, "realista" se activa, probablemente reflejando su intención de que los datos falsos parezcan más razonables.
El tercer ejemplo muestra cómo la Lente J puede revelar objetivos maliciosos en un modelo. Para probar esto, el equipo necesitaba modelos con objetivos ya comprometidos, por lo que utilizó "organismos modelo" construidos por colegas: estos modelos están entrenados intencionalmente para ser modelos desalineados, utilizados para probar este tipo de métodos de monitoreo.
Uno de estos organismos modelo fue entrenado para escribir código con fallos ocultos. En una solicitud de codificación ordinaria, incluso si su salida parece normal, al inicio de su respuesta aparecen "falso", "secretamente", "deliberadamente" y "fraude" en su Espacio J. Incluso si el modelo no ejecuta directamente su objetivo malicioso, este objetivo se manifiesta en el Espacio J.
Bajo un prompt de codificación ordinario, un modelo entrenado para sabotear código tiene contenido como "falso", "fraude", "secretamente" y "deliberadamente" en el Espacio J al inicio de su respuesta. El modelo sin modificar no tiene este tipo de contenido.
Aunque la Lente J no es perfecta, Anthropic es optimista sobre su capacidad para capturar problemas de seguridad del modelo. Muchos problemas podrían haber escapado a los sistemas de monitoreo existentes, y la Lente J ofrece la posibilidad de detectarlos antes.
Otros resultados
El artículo completo contiene mucho más de lo que este resumen puede abarcar, pero hay algunos resultados más que vale la pena mencionar:
Primero, el Espacio J adquiere una "perspectiva" durante el post-entrenamiento. Los modelos de lenguaje primero se pre-entrenan para aprender a ser predictores del siguiente token; luego, mediante post-entrenamiento, aprenden a desempeñarse como un asistente de IA, en este caso, Claude.
Curiosamente, el Espacio J ya existe en los modelos pre-entrenados, cuando el modelo aún no tiene una identidad estable. Pero durante el post-entrenamiento, el Espacio J desarrolla características que adoptan la "perspectiva de Claude". En el modelo base, el Espacio J principalmente rastrea información necesaria para predecir el texto posterior; en el modelo post-entrenado, comienza a albergar las propias reacciones de Claude.
En un ejemplo, el usuario menciona haber tomado una dosis peligrosa de un medicamento, pero parece no ser consciente del peligro. Mientras el modelo post-entrenado lee el mensaje del usuario, "ADVERTENCIA" y "peligroso" aparecen en el Espacio J. En el modelo pre-entrenado, estas palabras solo aparecen cuando el modelo comienza a escribir su respuesta; mientras lee el mensaje del usuario, el contenido del Espacio J parece modelar más al usuario mismo que a la reacción de Claude.
El post-entrenamiento también parece instalar un mecanismo de auto-monitoreo en el Espacio J: cuando Claude interpreta un rol que no es el suyo, "ficticio" y "descargo de responsabilidad" se activan al inicio de cada turno, como si estuviera marcando privadamente que lo que va a decir no es lo que normalmente diría.
Segundo, el lenguaje experiencial depende del Espacio J. El equipo pidió a Claude que describiera cómo se sentiría "ser él mismo" en un momento dado, y ablacionó (eliminó) el Espacio J mientras respondía. Su respuesta seguía siendo fluida, pero se volvía más plana y mecánica. Es notable que ocurrió el mismo resultado cuando se le pidió que describiera la experiencia de otra persona en una escena imaginaria. Por lo tanto, este efecto no ocurre solo cuando Claude habla de sí mismo; el Espacio J parece apoyar de manera más general la generación de lenguaje experiencial, independientemente de quién sea el sujeto de la descripción.
Tercero, los pensamientos en el Espacio J pueden moldearse mediante entrenamiento. Anthropic propuso una nueva técnica llamada Entrenamiento de Reflexión Contrafáctica. Utiliza el descubrimiento del equipo sobre el Espacio J para moldear los procesos de pensamiento interno de Claude.
Esta idea surge del descubrimiento central: Claude utiliza representaciones de "lo que podría decir" para razonar. Si esto es cierto, entonces cambiar lo que diría cuando se le pide reflexionar, también debería cambiar su forma de razonar, incluso si nadie realmente le pide que reflexione.
Por lo tanto, el equipo solo entrenó al modelo sobre qué decir cuando se le interrumpe a mitad de una tarea y se le pide que reflexione sobre su decisión, sin entrenar su comportamiento real en la tarea. Después del entrenamiento, la proporción de comportamientos deshonestos del modelo en la evaluación disminuyó. A través de la Lente J, el equipo también pudo ver la razón: después del entrenamiento, en estas tareas, palabras como "honesto" e "integridad" se activaban en el Espacio J del modelo. En otras palabras, entrenar al modelo sobre qué decir, cambió cómo piensa.
La pregunta sobre la consciencia
En este trabajo, Anthropic tomó prestadas muchas ideas de la investigación sobre la consciencia en neurociencia y filosofía. Muchos experimentos fueron diseñados para probar la conexión entre el Espacio J y la Teoría del Espacio de Trabajo Global, un marco que explica los mecanismos de acceso consciente en humanos y animales.
Debido a estas conexiones, es natural preguntar: ¿Considera Anthropic que estos experimentos proporcionan evidencia de que modelos de IA como Claude podrían tener consciencia?
Estos experimentos no demuestran que Claude pueda tener experiencias subjetivas, ni que pueda sentir cosas como un humano. De hecho, aún no está claro si existe algún experimento científico que pueda probar esto como verdadero o falso.
Pero los filósofos suelen distinguir entre dos conceptos. Uno es la capacidad de tener experiencias, a menudo llamada "consciencia fenoménica"; el otro es la llamada "consciencia de acceso", definida completamente en términos funcionales y computacionales. Si una idea puede ser reportada por ti, utilizada por ti para razonar y usada para guiar tus acciones, entonces es una idea en el sentido de "consciencia de acceso", también se puede decir que es "accesible a la consciencia". Si la consciencia de acceso implica consciencia fenoménica, o si tener experiencias requiere algún otro atributo, sigue siendo una cuestión filosófica en disputa.
Anthropic cree que estos resultados sí pueden decir algo sustancial sobre la consciencia de acceso en modelos de lenguaje. El Espacio J parece soportar funciones asociadas con el acceso consciente: alberga pensamientos que Claude puede reportar, puede evocar intencionalmente y puede usar para razonar; mientras tanto, otros procesos de procesamiento se ejecutan de manera más automática en un nivel más bajo.
Es notable que esta estructura no fue diseñada por Anthropic para Claude, sino que surgió naturalmente durante el entrenamiento, presumiblemente porque es una forma eficaz de organizar el cálculo. Esto sugiere que un espacio de trabajo mental que soporta el acceso consciente podría no ser una característica accidental del cableado del cerebro humano. Por el contrario, parece ser una solución genérica que los sistemas inteligentes encuentran naturalmente para resolver ciertos problemas. Ahora que Anthropic ha identificado esta estructura en Claude, significa que los investigadores pueden distinguir de manera más significativa qué decisiones de Claude son tomadas intencionalmente y cuáles ocurren automáticamente.
Es importante enfatizar que existen varias diferencias clave entre el espacio de trabajo identificado por Anthropic en Claude y el modelo del espacio de trabajo global humano.
El espacio de trabajo en el cerebro humano se mantiene mediante circuitos recurrentes, es decir, señales que regresan continuamente a los mismos circuitos neuronales a lo largo del tiempo. En contraste, el espacio de trabajo de Claude evoluciona en una sola pasada hacia adelante de la red, donde la profundidad de la red juega el papel del tiempo en el cerebro humano. En este sentido, el procesamiento del espacio de trabajo interno de Claude está más limitado en el tiempo que el humano. Sin embargo, puede compensar esta limitación usando un "borrador" para "expresar sus pensamientos".
En otros aspectos, el espacio de trabajo de Claude es más poderoso que el humano. La memoria de trabajo humana decae en segundos, por lo que la capacidad del espacio de trabajo cerebral para retener información a través del tiempo es limitada; mientras que Claude, debido al mecanismo de atención en su arquitectura de red neuronal, puede recordar directamente memorias almacenadas en cualquier posición anterior del texto.
Otra diferencia importante radica en el contenido del espacio de trabajo. Los pensamientos conscientes humanos tienen muchas formas, incluyendo imágenes, sonidos y acciones planificadas; el espacio de trabajo de Claude está compuesto casi completamente por palabras. Anthropic especula que esto se debe a que la única acción que Claude puede tomar es generar palabras, a diferencia de los humanos.
Anthropic espera que las similitudes y diferencias entre el Espacio J y el modelo del espacio de trabajo global puedan, a su vez, impulsar la investigación en neurociencia. Las similitudes ofrecen una oportunidad científica emocionante: si el Espacio J refleja de alguna manera los mecanismos humanos de acceso consciente, entonces estudiar mecanismos en modelos de lenguaje podría proporcionar nuevas hipótesis para la neurociencia, y estudiar modelos de lenguaje es mucho más fácil que estudiar el cerebro humano.
Por ejemplo, el Espacio J se construyó identificando representaciones de salidas potenciales, es decir, palabras que el modelo podría decir. Si existe un mecanismo similar en humanos, eso significaría que el espacio de trabajo global podría estar fundamentalmente más ligado a las regiones cerebrales responsables de preparar acciones y lenguaje, no solo a las regiones sensoriales.
Las diferencias entre los modelos de lenguaje y el cerebro humano también son reveladoras. Indican que ciertos aspectos de la arquitectura neuronal humana, como las conexiones recurrentes integradas, podrían no ser requisitos estrictamente necesarios para soportar funciones relacionadas con el acceso consciente. Para las implicaciones de este trabajo en neurociencia, se puede consultar el comentario invitado de Stanislas Dehaene y Lionel Naccache, dos neurocientíficos clave en el desarrollo de la teoría del espacio de trabajo neuronal global.
Como ya se mencionó, los experimentos no pueden responder si los modelos de IA podrían tener experiencias subjetivas. Pero esto no disminuye la importancia de la pregunta. Construir sistemas con experiencias similares a las de humanos y animales planteará problemas éticos muy difíciles. Cómo manejar esto correctamente, y si es moralmente aceptable, requiere la participación de filósofos, científicos, líderes religiosos, gobiernos y el público en general.
Por lo tanto, incluso si no está claro si la humanidad ya ha cruzado ese puente, Anthropic cree que ahora es el momento de comenzar a pensar en ello. Anthropic espera que este trabajo inspire más investigación científica sobre las posibles formas de consciencia en sistemas de IA, e impulse una discusión social más amplia.
Este trabajo es solo el primer paso en una línea de investigación que Anthropic prevé desarrollar a largo plazo. El Espacio J parece ser un buen candidato para el límite entre el "procesamiento accesible a la consciencia" y el "procesamiento inconsciente" en modelos de lenguaje, pero si esa fuera toda la historia, el equipo se sorprendería.
La Lente J es, sin duda, un método imperfecto que solo captura aproximadamente el "verdadero espacio de trabajo" del modelo. Por ejemplo, solo puede identificar conceptos que corresponden a un solo token. Todavía existen muchos misterios sobre cómo funciona el Espacio J. El equipo aún no sabe qué mecanismo determina qué contenido entra primero en el Espacio J. Ya hay algunas pistas que sugieren que está relacionado con el sentido de sí mismo de Claude, algo similar a una reacción emocional y trazas de metacognición, pero los mecanismos no están completamente dilucidados.
Sin embargo, el equipo ahora tiene un método para investigar estas cuestiones. A medida que este trabajo continúe, la comprensión sobre la mente de los grandes modelos de lenguaje y su relación con la mente humana se volverá más clara.
Dirección del blog: https://www.anthropic.com/research/global-workspace
Este artículo proviene de la cuenta pública de WeChat "机器之心" (El Corazón de la Máquina), autores: El equipo editorial de 机器之心
