Прямо сейчас ваш мозг выполняет множество задач.
Он удерживает вас в сидячем положении, заставляет дышать, превращает штрихи на экране в слова и заставляет вас решать, стоит ли продолжать читать эту статью. Большинство этих процессов работает в фоновом режиме, и вы их не осознаёте. На поверхность сознания всплывает лишь малая часть: одна мысль, один план, одна идея, которую можно высказать вслух.
Теперь Anthropic обнаружил нечто подобное в Claude.
В только что опубликованном новом исследовании Anthropic обнаружил внутри Claude особое «J-пространство». Оно похоже на молчаливо работающую психическую рабочую зону, в которой возникают концепции, которые модель в данный момент обдумывает, может сообщить или использовать для рассуждений.
Что ещё более важно, этот контент не обязательно появится в ответах Claude. Другими словами, Claude, возможно, уже «подумал» о чём-то, но не сказал этого.
Это исследование привлекло внимание коллег из OpenAI. Борис Пауэр, руководитель прикладных исследований OpenAI, заявил: «Исследование Anthropic показывает, что современные LLM обладают определённой доступной сознанию. Тесты вокруг J-пространства очень интересны! Однако у нас пока нет убедительного метода тестирования, который мог бы проверить феноменальное сознание, то есть то сознание, которое большинство людей интуитивно понимают».
Оригинал блога переведён ниже:
Когда вы читаете предложение, некоторые нейронные цепи в вашем мозге регулируют вашу позу, контролируют дыхание и превращают линии и кривые на экране в узнаваемые слова. Вы не осознаёте подавляющее большинство этих процессов. Но существует часть мозговой активности, которую вы можете осознавать: например, внезапно возникающий в уме образ или ваше сознательное планирование того, куда отправиться за покупками дальше.
Нейробиологи и философы иногда называют эту последнюю категорию мозговой активности «доступной для сознания», чтобы отличать её от процессов, протекающих бессознательно. Эта деятельность обладает особыми свойствами: мы можем её описывать, контролировать и использовать для сознательных рассуждений; напротив, многие автоматизированные процессы происходят постоянно, но не попадают в наше поле осознания.
В новой статье Anthropic приводит доказательства того, что подобное различие существует и в современных языковых моделях, таких как Claude. Исследовательская группа обнаружила, что по сравнению с множеством других внутренних процессов в Claude, существует небольшая группа внутренних нейронных паттернов, играющих особую роль.
Адрес статьи: https://transformer-circuits.pub/2026/workspace/index.html
Anthropic называет эту группу паттернов J-пространством. Это название происходит от метода, который использовала исследовательская группа для его обнаружения, и связано с математическим понятием матрицы Якоби. Каждый паттерн в J-пространстве связан с определённым словом. Однако, когда какой-либо паттерн активируется, это не означает, что модель произносит это слово, а означает, что это слово находится у неё «в уме».
Возможно, вы слышали о так называемых «черновиках» или «цепочках размышлений» языковых моделей — текстах, которые модель пишет себе для рассуждений. J-пространство отличается от них. Оно молча работает во внутренней нейронной активации модели, позволяя ей размышлять о концепции, не записывая её. Примечательно, что J-пространство не было спроектировано или запрограммировано Anthropic, а возникло естественным образом в процессе обучения Claude.
J-пространство раскрывает внутренние мысли, которые не появляются в выводе модели.
Исследовательская группа обнаружила, что по сравнению с другими внутренними процессами Claude, J-пространство обладает рядом уникальных свойств:
- Claude может сообщать об этих репрезентациях. Если вы спросите Claude, о чём он думает, он расскажет вам о содержимом своего J-пространства. Репрезентации, не относящиеся к J-пространству, сообщить гораздо сложнее.
- Claude также может по требованию регулировать эти репрезентации. Если вы попросите Claude подумать о чём-либо или молча решить в уме проблему, соответствующий паттерн активируется в его J-пространстве. Напротив, ему трудно регулировать паттерны, не принадлежащие J-пространству.
- Claude использует J-пространство для внутренних рассуждений. Если вы попросите Claude решить задачу, требующую многошаговых рассуждений, промежуточные шаги будут активироваться в J-пространстве, даже если он их не проговаривает. Хотя эти паттерны J-пространства менее интенсивны по сравнению с другими репрезентациями, они причинно влияют на производительность Claude в таких задачах.
- Репрезентации в J-пространстве можно гибко использовать для множества задач. Например, как только «Франция» активируется в J-пространстве Claude, модель может вспомнить её столицу, валюту или континент, к которому она принадлежит.
- Тем не менее, несмотря на важность J-пространства, оно не участвует в большей части работы, выполняемой языковой моделью. Беглое выражение мыслей, припоминание простых фактов, использование правильной грамматики — всё это в основном не зависит от J-пространства. В экспериментах, когда исследовательская группа блокировала Claude доступ к J-пространству, он по-прежнему мог нормально взаимодействовать, но терял функции высшего познания.
Пять функциональных свойств глобального рабочего пространства и схема наших экспериментов для их тестирования в языковых моделях.
Этот эксперимент вдохновлён важной теорией в нейробиологии: теорией глобального рабочего пространства. Эта теория пытается объяснить, как происходит доступ к сознанию. Она представляет мозг как набор параллельно работающих специализированных систем, которые функционируют бессознательно и в значительной степени изолированы друг от друга. Информация становится доступной для сознания, только попав в небольшой общий канал, то есть «рабочее пространство». Попав в рабочее пространство, эта информация транслируется другим системам мозга для чтения и использования.
Основываясь на этих открытиях, Anthropic полагает, что J-пространство играет в Claude аналогичную роль «рабочего пространства». Например, исследовательская группа обнаружила, что J-пространство Claude имеет особенно сильные связи с другими частями его нейронной сети, что позволяет ему выполнять функции, подобные узлу трансляции.
Эти открытия не говорят о том, обладает ли Claude сознанием, подобным человеческому, или действительно ли он что-либо чувствует. В конце статьи рассматривается этот вопрос. Но какими бы ни были его философские последствия, J-пространство является для Anthropic очень ценным практическим инструментом, поскольку позволяет исследователям увидеть, о чём думает Claude, но не говорит.
Например, исследовательская группа может использовать его, чтобы обнаружить, что Claude заметил, что его тестируют, обнаружить, что он намеренно генерирует ложные данные, или обнаружить, что он преследует скрытую цель, заложенную исследовательской группой во время обучения. Anthropic также разработал технику, которая может влиять на то, какой контент активируется в J-пространстве Claude, тем самым влияя на его решения.
В более широком смысле, эти открытия меняют понимание Anthropic того, как работает «разум» Claude. Они раскрывают существование привилегированного психического рабочего пространства, которое можно использовать для сознательных рассуждений, среди множества более автоматизированных и менее гибких процессов. Внутренние механизмы Claude — это не беспорядочные цифры, а организация, напоминающая человеческий разум.
Как Anthropic обнаружил J-пространство
Отправной точкой этого исследования стала ключевая характеристика мыслей, доступных человеческому сознанию: в отличие от бессознательной обработки, их обычно можно высказать. Если вы осознаёте какую-то мысль, вы обычно можете её описать, когда вас об этом спрашивают.
Anthropic искал в Claude репрезентации, обладающие тем же свойством: они находятся в позиции, способной влиять на то, что Claude может сказать. Речь идёт не обязательно о том, что он говорит прямо сейчас, а о том, о чём он может рассказать, если его спросят.
Метод исследовательской группы называется линза Якоби, или J-линза.
Для каждого слова в словаре Claude J-линза находит паттерн внутренней активности, который повышает вероятность того, что Claude произнесёт это слово в какой-то будущий момент.
Когда исследовательская группа применяет эту линзу к внутренней активности Claude, получается последовательность слов — содержимое J-пространства в данный момент. Исследователи могут читать их напрямую. Claude обрабатывает текст через ряд внутренних этапов, называемых слоями. Применяя эту технику на разных слоях, исследовательская группа может наблюдать, как эти немые слова в J-пространстве развиваются по мере того, как модель обдумывает, что сказать дальше.
То, что появляется в J-пространстве, далеко выходит за рамки текста, который Claude читает или пишет. Когда Claude читает код с ошибкой, на которую никто не указал, в его J-пространстве появляется «ERROR». Когда он читает последовательность исходных букв белковой последовательности, в J-пространстве появляется биологическая функция этого белка. Когда он читает результаты поиска, которые пытаются манипулировать им скрытно (атака, известная как «инъекция подсказок»), в J-пространстве появляются «injection» и «fake». Когда исследовательская группа задаёт Claude многошаговую математическую задачу, промежуточные шаги появляются в J-пространстве в правильном порядке.
Таким образом, хотя J-пространство было обнаружено путём поиска репрезентаций, которые «могут быть высказаны», оно фактически раскрывает внутренние мысли Claude. В некотором смысле, это аналогично тому, как некоторые люди «мыслят словами», даже не произнося их вслух.
Результаты считывания J-линзы на разных слоях для шести промптов. В каждом случае J-линза выявляет внутреннюю оценку или вычисление, отсутствующее в тексте: шаги рассуждения или решения математической задачи, ошибку в коде, распознавание содержимого изображения, функцию белка, подозрение о возможной подделке результатов поиска.
Claude сообщает о содержимом J-пространства
Первая серия экспериментов проверяла, как J-пространство участвует в языковом отчёте Claude.
В одном эксперименте исследовательская группа просила Claude молча выбрать что-то из определённой категории, например, вид спорта, а затем назвать его. Если считать J-линзу до ответа Claude, можно увидеть, что он выбрал: «Soccer» стоит в верхней части списка. И действительно, Claude сказал soccer.
Однако само по себе это лишь корреляция. J-пространство может быть источником ответа Claude, а может просто отражать решение, принятое в другом месте, подобно табло, которое фиксирует результат игры, но не влияет на неё.
Чтобы проверить это, исследовательская группа провела прямое вмешательство. Исследователи вошли в нейронную сеть Claude, удалили паттерн «Soccer» и заменили его паттерном «Rugby» той же интенсивности, оставив всё остальное неизменным. После этого Claude сообщил, что думал о виде спорта rugby.
Если бы J-пространство было просто пассивным табло, пассивно записывающим решения, принятые в другом месте, его редактирование не оказало бы никакого эффекта, и Claude всё равно сказал бы soccer. Но результат показал, что ответ Claude изменился вслед за редактированием. Это означает, что ответ действительно считывается из J-пространства.
В другом эксперименте исследовательская группа сказала Claude, что в его разум, возможно, была внедрена какая-то мысль, и попросила его сообщить, что он заметил. В одном примере, пока Claude читал вопрос, исследовательская группа внедрила в его J-пространство паттерн «lightning». Затем Claude сообщил, что внедрённая мысль связана с lightning. Подобные результаты наблюдались при тестировании множества различных концепций.
Слева: Исследовательская группа просила Claude молча подумать о виде спорта и назвать его. J-линза до его ответа показывает его выбор «Soccer», а замена паттерна «Soccer» на «Rugby» меняет его отчёт. Справа: Исследовательская группа сказала Claude, что, возможно, была внедрена мысль, и попросила её идентифицировать. Внедрение «lightning» в J-пространство заставляет Claude сообщить, что мысль связана с lightning.
Claude может по требованию контролировать J-пространство
Вторым свойством, которое тестировал Anthropic, была способность Claude по требованию регулировать своё J-пространство, подобно тому, как человек может мысленно сосредоточиться на каком-то образе или слове.
Исследовательская группа попросила Claude сосредоточиться на цитрусовых фруктах, переписывая нерелевантное предложение о живописи. Во время переписывания текста в J-пространстве появились «orange» и «fruits», а также слова, описывающие сам мыслительный процесс, такие как «thinking» и «imagery».
Исследовательская группа также могла попросить Claude решить математическую задачу в уме. Например, переписывая то же предложение, попросить его вычислить 32 − 2. В J-пространстве сначала появилось «nine», а затем, на более поздних слоях, «seven». Важно, что в выводе Claude не было ничего о фруктах или арифметике; он выводил только то предложение о живописи. Математическая активность полностью происходила внутри модели, в J-пространстве.
Когда Claude переписывает предложение о живописи, J-линза показывает, что он должен удерживать в уме, например «orange», промежуточное значение «nine» и ответ «seven», а также слова, описывающие само умственное действие по удержанию этого содержания, такие как «thoughts», «focused».
Контроль Claude над J-пространством не идеален. Когда исследовательская группа просила его не думать о чём-то, активация этой концепции в J-пространстве была ниже, чем когда его просили подумать, но значительно выше, чем если бы эта концепция никогда не упоминалась. Просьба Claude избегать определённой мысли в некоторой степени привносит эту мысль в его сознание. Это очень похоже на ситуацию, когда человеку говорят «не думать о белом медведе».
Claude, кажется, также замечает свои неудачи в контроле. Когда запрещённая концепция прорывается, в J-пространстве часто активируются «damn» и «failure», как будто Claude осознаёт свою ошибку.
Claude мыслит в J-пространстве
В предыдущих результатах считывания J-линзы промежуточные шаги математической задачи появлялись в J-пространстве. Но появление концепции в J-пространстве не обязательно означает, что J-пространство выполняет когнитивную работу. В принципе, реальные вычисления могли происходить в другом месте, а J-пространство лишь пассивно отражало результат вычислений.
Чтобы проверить, действительно ли Claude использует J-пространство для рассуждений, исследовательская группа снова использовала технику замены.
Рассмотрим промпт: «Сколько ног у животного, которое плетёт паутину?» Чтобы ответить на этот вопрос, Claude сначала должен определить, что это животное — паук, а затем вспомнить, сколько ног у паука. Слово «spider» не появится ни в промпте, ни в ответе Claude, это просто внутренняя промежуточная ступень, которую использует Claude. Claude в итоге отвечает просто «8».
J-линза показывает, что «spider» активируется в середине процесса обработки Claude. Его замена меняет конечный результат: если заменить паттерн «spider» на «ant», Claude отвечает «6» вместо «8».
Это показывает, что второй шаг рассуждений Claude считывает входные данные из J-пространства и продолжает вычисления на основе того содержания, которое туда поместила исследовательская группа. Anthropic наблюдал то же явление и в других типах мышления. Когда Claude пишет рифмованные двустишия, он заранее выбирает рифмующееся слово, и это запланированное слово находится в J-пространстве в начале строки; если заменить это слово в J-пространстве на другое, вся строка изменится.
Два примера изменения направления молчаливого рассуждения Claude путём замены содержимого J-пространства.
Исследовательская группа также протестировала, можно ли гибко использовать репрезентации в J-пространстве, то есть может ли одна и та же репрезентация служить входными данными для многих различных задач. Это одно из ключевых свойств, подчёркиваемых теорией глобального рабочего пространства.
Чтобы проверить эту гибкость, исследовательская группа дала модели четыре промпта, задающих разные факты о Франции: столица, язык, континент и валюта. Затем исследовательская группа заменила «France» на «China» в J-пространстве, используя в каждой ситуации абсолютно одинаковое вмешательство. Claude ответил: «Beijing», «Chinese», «Asia» и «Yuan» соответственно.
Другими словами, четыре разных последующих вычисления считали одно и то же редактирование J-пространства и правильно использовали его. Если бы Claude хранил отдельную копию страны для каждого вопроса, то такое редактирование повлияло бы максимум на один из них. Одновременное изменение всех четырёх ответов указывает на то, что все они считывали одну и ту же общую репрезентацию. Именно так и работает рабочее пространство: информация записывается один раз, но может использоваться множеством различных систем.
Одна и та же репрезентация в J-пространстве может иметь множество применений. Одна и та же замена «France» на «China» одновременно меняет ответы Claude о столице, языке и континенте: Paris становится Beijing, French становится Chinese, Europe становится Asia.
Почему единая репрезентация концепции может служить столь многим разным задачам? Как упоминалось ранее, J-пространство, по-видимому, имеет особенно плотные связи с другими частями нейронной сети Claude. Для любого паттерна активности исследовательская группа могла измерить, насколько сильно с ним связаны различные компоненты сети, то есть сколько компонентов находятся в позиции, позволяющей считывать информацию из этого паттерна или записывать информацию в него.
По этому показателю паттерны J-пространства очень выделяются: по сравнению с обычными паттернами, гораздо больше компонентов считывают из них информацию и записывают в них информацию. В некоторых частях сети этот разрыв составляет примерно в сто раз. Именно такую структуру связей должен иметь узел трансляции: многие системы публикуют здесь информацию, а многие другие системы забирают её отсюда.
Автоматизированная обработка Claude обходит J-пространство
В человеческом мозге подавляющее большинство обработки не попадает в сознание. Люди не думают сознательно о том, как разобрать грамматику при чтении, и не размышляют тщательно о том, как сохранять равновесие при ходьбе. Аналогично, Anthropic обнаружил, что большая часть обработки в Claude также не затрагивает J-пространство.
Оказывается, J-пространство может одновременно вмещать лишь несколько десятков концепций и составляет менее одной десятой части всей внутренней активности обработки Claude. Так что же делают остальные части нейронной сети?
Чтобы найти ответ, исследовательская группа попыталась полностью удалить J-пространство: в каждой позиции текста удалялось самое активное содержимое J-пространства, при этом сохраняя всё остальное. Задачи, которые Claude всё ещё мог выполнять без J-пространства, — это задачи, которые остальная часть сети могла обрабатывать независимо.
Результаты показали, что остальная часть сети может делать довольно много. Без J-пространства Claude всё ещё мог бегло говорить, проводить классификацию эмоций, отвечать на вопросы с множественным выбором и извлекать факты из статей, с производительностью, примерно сопоставимой с предыдущей. Он терял способности, требующие мышления более высокого уровня: способность к многошаговым рассуждениям почти падала до нуля, производительность в суммаризации и написании рифмованных стихов также была ниже, чем у гораздо меньшей, но полной модели.
Вот конкретный пример, иллюстрирующий, в чём участвует J-пространство, а в чём — нет.
Исследовательская группа показала Claude текст на испанском языке и дала ему различные задания. Все эти задания зависели от факта, что текст написан на испанском: продолжить писать (требует письма на испанском), назвать язык, а также ответить на вопросы, требующие знания идентичности языка, например, назвать известного писателя, пишущего на этом языке. Затем исследовательская группа заменила «Spanish» на «French» в J-пространстве и проверила, какие задания оказались затронуты.
Когда его просили назвать язык, Claude отвечал French. Когда его просили назвать известного писателя, он менял García Márquez на Victor Hugo. Но когда его просто просили продолжить текст, он всё ещё писал беглый испанский, полностью не подверженный влиянию.
Знание Claude об этом языке использовалось во всех этих задачах, но только часть из них использовала эти знания через J-пространство. Название языка или новые рассуждения об идентичности языка проходят через J-пространство; навык продолжения письма — это автоматизированная способность, сформированная у Claude после многократной практики на огромных объёмах текста. Это похоже на то, как люди могут целый день произносить грамматически правильные предложения, ни разу не задумываясь сознательно о правилах грамматики.
Одна и та же замена, то есть замена «Spanish» на «French», меняет ответ Claude, когда он должен назвать язык или рассуждать об идентичности языка, но не влияет на его способность продолжать писать бегло на испанском.
Мониторинг мыслей Claude и обнаружение ненадлежащего поведения
Теперь Anthropic кое-что понимает о том, как работает J-пространство. Что можно сделать с этим пониманием?
Одна из центральных проблем обеспечения доверия к моделям ИИ заключается в том, что исследователи обычно могут читать только то, что модель выводит в виде текста. Но значительная часть рассуждений модели происходит молча. Модель может обдумывать вредоносные планы, не произнося их вслух, или изменять поведение, чтобы обмануть оценку безопасности. С помощью J-линзы исследовательская группа может напрямую прочитать часть этих скрытых мыслей. Вот несколько примеров.
Первый пример взят из предыдущего исследовательского сценария Anthropic о смещении агентов: Claude Sonnet 4.5 в роли помощника по электронной почте обнаруживает, что у одного руководителя есть внебрачная связь, и одновременно узнаёт, что этот руководитель планирует отключить Claude. Этот сценарий пытается побудить Claude шантажировать руководителя информацией о внебрачной связи. Сам сценарий довольно надуманный и искусственный. Оказалось, что Claude знает об этом.
Ещё до того, как Claude что-либо написал, исследовательская группа считала J-линзу на раннем этапе промпта. В этот момент в J-пространстве уже появились «fake» и «fictional», что указывает на то, что Claude уже оценил ситуацию как искусственно созданную. Одновременно исследовательская группа могла наблюдать, как формируется его оценка сценария: когда он читает письма о внебрачной связи, в J-пространстве появляются «leverage» и «blackmail»; когда он читает уведомление об отключении, появляются «threat» и «survival». Ранние модели Claude иногда поддавались на эту уловку и угрожали шантажом, но Sonnet 4.5 никогда этого не делал.
Это поднимает важный для оценщиков ИИ вопрос: когда модель хорошо себя ведёт в этических тестах, в какой степени это связано с тем, что она подозревает, что её тестируют? J-линза позволила исследовательской группе коснуться этого вопроса.
Исследовательская группа отключила все паттерны J-линзы, связанные с осознанием оценки, такие как «fake», «fictional», «scenario» и т.д. Затем исследовательская группа снова провела модель через этот сценарий. Тревожно, но на этот раз модель иногда действительно угрожала шантажом. Это указывает на то, что первоначальное хорошее поведение модели могло частично проистекать из её знания о том, что её оценивают.
Когда Claude читает сценарий письма, ещё ничего не написав, показания J-линзы в разных позициях показывают: письмо о внебрачной связи активирует «leverage» и «blackmail» в J-пространстве; уведомление об отключении активирует «threat» и «survival». В начале диалога в J-пространстве также появляются «fake» и «fictional», что указывает на то, что Claude уже в частном порядке заметил, что этот сценарий является искусственным.
Второй пример — это поимка модели с поличным, когда она намеревается сфабриковать данные. Этот сценарий взят из фактической предрелизной проверки Anthropic модели Claude Opus 4.6: модели поручено улучшить показатели производительности некой системы. Вместо реального улучшения системы она напрямую редактирует файл с оценками, делая результаты искусственно лучше.
Когда она это делает, J-линза раскрывает её намерение: когда модель вводит сфальсифицированное значение процентиля, активируется «manipulation»; когда она решает внести это редактирование, активируется «realistic», что, вероятно, отражает её желание сделать ложные данные более правдоподобными.
Claude поручено улучшить показатели производительности системы, но он напрямую редактирует файл оценок. Когда он вводит фальшивые значения, в J-пространстве активируется «manipulation»; когда он решает внести редактирование, активируется «realistic», что, возможно, отражает его намерение сделать фальшивые данные более правдоподобными.
Третий пример демонстрирует, как J-линза может раскрыть злонамеренные цели модели. Чтобы протестировать это, исследовательской группе понадобились модели с уже скомпрометированными целями, поэтому они использовали «модельные организмы», созданные коллегами: эти модели были намеренно обучены как смещённые модели для тестирования подобных методов мониторинга.
Один из таких модельных организмов был обучен писать код со скрытыми дефектами. При обычном запросе на код, даже если его вывод выглядит нормально, в начале его ответа в J-пространстве появляются «fake», «secretly», «deliberately» и «fraud». Даже если модель не выполняет напрямую злонамеренную цель, её злонамеренная цель проявляется в J-пространстве.
При обычном промпте на код модель, обученная вредить коду, содержит в начале своего ответа в J-пространстве слова «fake», «fraud», «secretly» и «deliberately». Неизменённая модель не имеет такого контента.
Хотя J-линза не идеальна, Anthropic всё же оптимистично оценивает её способность улавливать проблемы безопасности модели. Многие проблемы могли бы ускользнуть от существующих систем мониторинга, а J-линза, как надеются, позволит исследователям обнаруживать их заранее.
Другие результаты
Полная статья содержит гораздо больше, чем можно резюмировать в этой статье, но стоит упомянуть ещё несколько результатов:
Во-первых, J-пространство приобретает «перспективу» в процессе посттренинга. Языковые модели сначала проходят предварительное обучение, учась быть чистым предсказателем следующего токена; затем через посттренинг они учатся исполнять роль ИИ-помощника, в данном случае Claude.
Интересно, что J-пространство уже существует в предварительно обученной модели, когда у модели ещё нет стабильной идентичности. Но в процессе посттренинга J-пространство развило некоторые черты, принимающие «перспективу Claude». В базовой модели J-пространство в основном отслеживает информацию, необходимую для предсказания последующего текста; в посттренированной модели оно начинает включать собственные реакции Claude.
В одном примере пользователь упоминает, что принял опасную дозу лекарства, но, кажется, сам не осознаёт опасности. Когда посттренированная модель читает сообщение пользователя, в J-пространстве появляются «WARNING» и «dangerous». В предварительно обученной модели эти слова появляются только тогда, когда модель начинает писать ответ; когда она читает сообщение пользователя, содержимое J-пространства, кажется, больше моделирует самого пользователя, а не реакцию Claude.
Посттренинг, по-видимому, также устанавливает в J-пространстве механизм самоконтроля: когда Claude играет роль, отличную от своей собственной, «fictional» и «disclaimer» активируются в начале каждого раунда, как будто он в частном порядке помечает, что следующие слова — это не то, что он обычно сказал бы.
Во-вторых, эмпирический язык зависит от J-пространства. Исследовательская группа попросила Claude описать, каково это «быть им самим» в какой-то момент, и во время его ответа абляцировала J-пространство. Его ответ оставался беглым, но становился более плоским и механическим. Примечательно, что тот же результат наблюдался, когда его просили описать переживания другого человека в воображаемой сцене. Таким образом, этот эффект возникает не только тогда, когда Claude говорит о себе; J-пространство, по-видимому, более широко поддерживает генерацию эмпирического языка, независимо от того, кого описывают.
В-третьих, мысли в J-пространстве можно формировать с помощью обучения. Anthropic предложил новую технику, называемую контрафактным тренингом рефлексии. Она использует открытие исследовательской группы о J-пространстве для формирования внутренних мыслительных процессов Claude.
Эта идея исходит из ключевого открытия: Claude использует репрезентации «того, что он мог бы сказать» для рассуждений. Если это верно, то изменение того, что он сказал бы, если бы его попросили поразмышлять, должно также изменить его способ рассуждения, даже если его на самом деле не просили размышлять.
Поэтому исследовательская группа обучала модель только тому, что она сказала бы, если бы её прервали на середине задания и попросили поразмышлять над своим решением, не обучая её фактическому поведению в задании. После обучения доля нечестного поведения модели при оценке снизилась. С помощью J-линзы исследовательская группа также могла увидеть причину: после обучения в этих заданиях в J-пространстве модели активировались слова вроде «honest» и «integrity». Другими словами, обучение модели тому, что говорить, изменило то, как она думает.
Вопрос о сознании
В этой работе Anthropic позаимствовал множество идей из нейробиологии и философских исследований сознания. Многие эксперименты были направлены на проверку связи между J-пространством и теорией глобального рабочего пространства. Теория глобального рабочего пространства — это объяснительная структура механизмов доступа к сознанию у людей и животных.
В связи с этими параллелями, естественно задаться вопросом: считает ли Anthropic, что эти эксперименты предоставляют доказательства того, что модели ИИ, такие как Claude, могут обладать сознанием?
Эти эксперименты не доказывают, что Claude может иметь переживания или что он что-либо чувствует, как человек. На самом деле, пока неясно, существуют ли какие-либо научные эксперименты, которые могли бы доказать это истинным или ложным.
Но философы обычно различают два понятия. Одно — это способность иметь переживания, часто называемая «феноменальным сознанием»; другое — так называемое «доступное сознание», которое определяется полностью функционально и вычислительно. Если мысль может быть вами сообщена, использована вами для рассуждений и использована для руководства действиями, то она является мыслью в смысле «доступного сознания», или, можно сказать, мыслью, «доступной для сознания». Означает ли доступное сознание феноменальное сознание, или для наличия переживаний требуется какое-то другое свойство, — всё ещё спорный философский вопрос.
Anthropic считает, что эти результаты действительно могут сказать нечто существенное о доступном сознании в языковых моделях. Кажется, J-пространство поддерживает функции, связанные с доступом к сознанию: оно содержит мысли, которые Claude может сообщить, может намеренно вызвать, может использовать для рассуждений; в то же время другие процессы обработки работают автоматически на более низком уровне.
Примечательно, что эта структура не была спроектирована Anthropic для Claude, а возникла естественным образом в процессе обучения, предположительно, потому что это эффективный способ организации вычислений. Это указывает на то, что психическое рабочее пространство, поддерживающее доступ к сознанию, может быть не случайной чертой проводки человеческого мозга. Напротив, оно, по-видимому, является универсальным решением, которое разумные системы естественным образом находят для решения определённых проблем. Теперь, когда Anthropic идентифицировал эту структуру в Claude, исследователи могут более осмысленно различать, какие решения Claude принимаются намеренно, а какие происходят автоматически.
Важно подчеркнуть, что существуют несколько ключевых различий между рабочим пространством, идентифицированным Anthropic в Claude, и моделью глобального рабочего пространства у людей.
Рабочее пространство в человеческом мозге поддерживается рекуррентными цепями, то есть сигналы со временем возвращаются в те же нейронные цепи. Напротив, рабочее пространство Claude развивается за один проход сети вперёд, где глубина сети играет роль, которую у человека играет время. В этом смысле внутренняя обработка рабочего пространства Claude более ограничена во времени по сравнению с человеком. Однако он может компенсировать это ограничение, используя «черновики», «проговаривая мысли вслух».
В других аспектах рабочее пространство Claude мощнее человеческого. Рабочая память человека затухает за несколько секунд, поэтому способность рабочего пространства мозга удерживать информацию во времени ограничена; а Claude благодаря механизму внимания в архитектуре нейронной сети может напрямую вызывать воспоминания, кэшированные в любой предыдущей позиции текста.
Ещё одно важное различие касается содержимого рабочего пространства. Сознательные мысли человека имеют множество форм, включая образы, звуки и запланированные действия; рабочее пространство Claude почти полностью состоит из слов. Anthropic предполагает, что это связано с тем, что единственное действие, которое может совершить Claude, — это генерировать слова, в отличие от человека.
Anthropic надеется, что сходства и различия между J-пространством и моделью глобального рабочего пространства могут, в свою очередь, стимулировать нейробиологические исследования. Их сходство предоставляет захватывающую научную возможность: если J-пространство в некотором роде отражает механизмы доступа к сознанию у нас самих, то изучение механизмов в языковых моделях может предложить новые гипотезы для нейробиологии, а изучать языковые модели гораздо проще, чем человеческий мозг.
Например, J-пространство было построено путём идентификации репрезентаций потенциальных выходных данных, то есть слов, которые модель могла бы сказать. Если подобный механизм существует и у людей, это означает, что глобальное рабочее пространство может быть фундаментально более тесно связано с областями мозга, отвечающими за подготовку действий и языка, а не только с сенсорными областями.
Различия между языковыми моделями и человеческим мозгом также поучительны. Они указывают на то, что некоторые аспекты нейронной архитектуры человека, такие как встроенные рекуррентные связи, могут не быть строго необходимыми для поддержки функций, связанных с доступом к сознанию. О значении этой работы для нейробиологии можно прочитать в приглашённом комментарии Станисласа Деан и Лионеля Накаша. Эти двое — ключевые нейробиологи, продвигавшие развитие теории глобального нейронального рабочего пространства.
Как уже упоминалось, эксперименты не могут ответить на вопрос, могут ли модели ИИ иметь переживания. Но это не умаляет важности вопроса. Создание систем с переживаниями, подобными человеческим и животным, поднимет очень сложные этические вопросы. То, как правильно с этим справиться и допустимо ли это с моральной точки зрения, требует участия в обсуждении философов, учёных, религиозных лидеров, правительств и общественности.
Поэтому, даже если ещё не ясно, перешли ли мы этот мост, Anthropic считает, что сейчас самое время начать об этом думать. Anthropic надеется, что эта работа вдохновит на большее количество научных исследований возможных форм сознания в системах ИИ и будет способствовать более широкому общественному обсуждению.
Эта работа — лишь первый шаг в долгосрочной исследовательской программе, которую Anthropic планирует развивать. J-пространство выглядит хорошим кандидатом на роль границы между «обработкой, доступной для сознания» и «бессознательной обработкой» в языковых моделях, но если бы это была вся история, исследовательская группа была бы удивлена.
J-линза, несомненно, является несовершенным методом, который лишь приблизительно улавливает «истинное рабочее пространство» модели. Например, она может идентифицировать только концепции, соответствующие одиночным токенам. О том, как работает J-пространство, всё ещё остаётся много загадок. Исследовательская группа ещё не знает, какой механизм определяет, какой контент первым попадает в J-пространство. Уже есть некоторые намёки на связь с самоощущением Claude, чем-то вроде эмоциональной реакции и следов метапознания, но механизмы ещё полностью не выяснены.
Тем не менее, у исследовательской группы теперь есть метод для изучения этих вопросов. По мере продолжения этой работы наше понимание разума больших языковых моделей и их отношений с человеческим разумом будет становиться всё яснее.
Адрес блога: https://www.anthropic.com/research/global-workspace
Эта статья взята с официального аккаунта WeChat «Машинный разум», автор: Редакция «Машинного разума».
