«Сущность объяснения заключается не в том, чтобы созерцать саму машину, а в том, чтобы исследовать мир, который созерцает машина».
В июле 2026 года исследовательская команда Anthropic опубликовала статью «A global workspace in language models», с помощью инструмента под названием J-линза выявив внутри Claude область нервной активности, которую можно наблюдать, на которую можно воздействовать и которая обладает каузальной эффективностью — J-Space.
Это открытие привлекло широкое внимание, потому что оно позволило исследователям заглянуть в «внутренний монолог» модели в процессе рассуждений, что ознаменовало переход исследований объяснимости от объяснения поведения моделей к реальному наблюдению за их внутренними состояниями.
J-Space, используя теорию глобального рабочего пространства из когнитивной нейронауки в качестве объяснительной рамки, аналогизирует рассуждения языковых моделей с обработкой информации на уровне сознания человека, что представляет собой важный шаг вперед как в методологическом, так и в эпистемологическом плане, а также предоставляет новое измерение для мониторинга безопасности ИИ.
Однако, именно в силу своего глубокого влияния, необходимо внимательно изучить внутренние ограничения этого подхода. Фундаментальная ориентация исследования J-Space является интерналистской — оно ставит в центр проблемы объяснимости вопрос «что происходит внутри модели», пытаясь, подобно нейробиологам, сканирующим мозг человека с помощью фМРТ, сканировать нервную активность языковой модели с помощью J-линзы.
Этот подход предполагает, что ответ на вопрос об объяснимости скрыт «внутри» модели. Однако, насколько понятен вывод модели, зависит не только от видимости её внутренних состояний, но и от отношений между этими состояниями и фактами в мире, семантическими нормами, а также когнитивными рамками пользователя.
Пытаться понять высказывания модели, лишь наблюдая за нервной активностью, всё равно что пытаться понять, что говорит человек, лишь наблюдая за его мозговой активностью — мы, возможно, сможем уловить нейронные корреляты, но так и не коснёмся самого значения высказывания.
Кроме того, J-Space заимствует теорию глобального рабочего пространства — теорию о сознании — для объяснения языковых моделей. В процессе этого переноса происходит тонкая категориальная ошибка: изоморфизм на функциональном уровне ошибочно принимается за эквивалентность на эпистемологическом уровне.
У модели нет субъективного опыта, паттерны активации в J-Space — это всего лишь продукт математических операций, а не какое-либо психическое состояние.
Более глубокая проблема заключается в том, что исследование J-Space по своей сути является работой инженерной направленности, сужающей «объяснимость» до «наблюдаемости» и «возможности воздействия». Однако в более широкой эпистемологической традиции значение «объяснения» гораздо богаче — оно включает в себя помещение явлений в рамки более общих закономерностей, предоставление причин и оснований, а также аргументацию в пользу обоснованности решений.
J-Space может рассказать нам, о чём «думает» модель, но не может сказать, почему модель думает именно так, каковы её «основания» для этого и в каком смысле эти основания являются «хорошими». Ответы на эти вопросы не содержатся в паттернах нервной активности.
Вышеупомянутые ограничения указывают на общий корень проблемы: J-Space и всё исследование объяснимости, сфокусированное на нейронных сетях, всегда рассматривают «саму модель» как единственный объект объяснения, начало и конец проблемы.
В данной статье предлагается иной взгляд — смещение вопроса об объяснимости с внутреннего устройства модели на информацию, которую она обрабатывает, переход от интерналистского подхода нейронаук к «информационно-онтологическому» подходу эпистемологии.
Этот переход основан на простом наблюдении: крупные языковые модели по сути являются процессорами информации, их входные и выходные данные — это текст, а значение текста — то, что нам действительно нужно объяснить — содержится не в значениях активации нейронов, а в отношениях этих символов с миром, знанием и человеческой практикой.
Когда модель отвечает «Париж — столица Франции», нам нужно объяснить не только то, какая область внутри модели активировалась, но и то, в какой системе знаний верно это утверждение, на чём оно основано, какова надёжность и обоснованность этих оснований, каково отношение этого ответа к уже существующим у человека географическим знаниям — ни на один из этих вопросов нельзя ответить, сканируя нервную активность.
Таким образом, данная статья утверждает, что ядро проблемы объяснимости следует сместить с вопроса «как думает модель» к вопросу «какую информацию обрабатывает модель и каков онтологический статус этой информации», тем самым расширив объект объяснимости от самой модели до всей информационной экосистемы, в которую модель встроена, — включая структуру обучающих данных, способы репрезентации знаний, поток информации в процессе рассуждений и отношение вывода к внешним системам знаний.
Исследования объяснимости, представленные J-Space, привнесли нейронаучную парадигму в область искусственного интеллекта, их вклад заключается в том, что они позволили нам заглянуть внутрь того, «что происходит внутри модели». Однако интерналистская ориентация этого подхода, зависимость от функциональных аналогий, а также инженерный взгляд, сужающий понятие «объяснения», вместе составляют его тройное эпистемологическое ограничение.
В данной статье утверждается, что для реального продвижения в решении проблемы объяснимости больших языковых моделей необходимо выйти за рамки созерцания внутренних состояний модели и, опираясь на эпистемологическую перспективу, систематически исследовать онтологические основы информации, которую обрабатывает модель — её источники, структуру, способы репрезентации, пути передачи и отношения с внешними системами знаний. Именно этот сдвиг перспективы и составляет отправную точку данного исследования.
Онтологические истоки: философский фундамент объяснимости
«Мысли без содержания пусты, созерцания без понятий слепы».
Сначала зададимся древним философским вопросом: как же человек в конечном счёте понимает мир? Кант в «Критике чистого разума» дал классический ответ: он считал, что человеческий разум не пассивно получает внешние стимулы, а изначально оснащён двенадцатью «чистыми рассудочными понятиями» («двенадцатью категориями») в качестве формальной рамки для познания.
Кант вывел эти категории из двенадцати форм логических суждений человека, разделив их на четыре группы: количества, качества, отношения и модальности. Количество касается «скольких», качество — «каких», отношение — связей между вещами, а модальность — способов существования.
Теория категорий Канта по сути представляет собой онтологическое обязательство относительно «понятности»: только то, что может быть помещено в рамки этих двенадцати категорий, может стать объектом знания; «вещь в себе», выходящая за эти рамки, навсегда непознаваема. Это означает, что «онтология» в кантовском смысле больше не задаётся вопросом «что такое мир сам по себе», а вопросом «каким мир предстаёт перед нами».
Глубокое откровение этого для объяснимости ИИ заключается в следующем: когда мы объясняем вывод языковой модели, по-настоящему «объяснимым» является не физическая активация внутренних нейронов, а процесс категоризации и структурирования информации в понятное знание. Нейронная активация принадлежит уровню вещи в себе, а смысл высказывания модели принадлежит уровню феноменального мира и может быть понят и оценен только будучи помещённым в рамки какой-либо когнитивной структуры.
Онтология — это «ключ» к объяснимости ИИ. На аналитическом уровне она предоставляет полный набор концептуальных рамок для описания структурированных форм информации, обрабатываемой моделью — мы можем спрашивать, подразумевает ли утверждение принадлежность «сущности и акциденции», суждение о «причинности» или обязательство в отношении «модальности», тем самым систематически описывая, какую структуру знаний строит модель, вместо того чтобы расплывчато говорить «модель, кажется, понимает причинно-следственные связи».
На нормативном уровне она предоставляет критерии оценки для объяснимости: если во внутренней репрезентации модели действительно формируются структурированные паттерны, соответствующие онтологии, её выводы обладают основой для понимания; если же они так и не отображаются на эти онтологические категории, то, насколько бы беглыми ни были выводы, в эпистемологическом смысле они необъяснимы.
Использование кантовских категорий в качестве философского ключа к объяснимости не означает утверждения, что модель должна «обладать» этими категориями — категории Канта являются априорными условиями познания субъекта, тогда как модель — это вопрос функциональной реализации, она может функционально эквивалентно различать субстанциональность, причинность или модальные различия через различные нейро-вычислительные пути.
Ключевой момент заключается в следующем: объяснимость не требует, чтобы внутренние механизмы модели были прозрачны до уровня каждого веса, она требует, чтобы мы могли подтвердить, отображаются ли структуры, сформированные моделью на уровне обработки информации, на категориальные рамки, используемые человеком для понимания мира.
От теории к практике: интеграция онтологического инжиниринга и больших языковых моделей
Онтология даёт нормативный ответ на вопрос «какой должна быть понятная структура», но сам этот ответ не превращается автоматически в работающую техническую систему. Онтология без поддержки онтологического инжиниринга — это всего лишь парящая в воздухе концептуальная игра.
Онтологический инжиниринг как практическая область, инстанцирующая философские категории в вычислимые, поддерживаемые и отслеживаемые технические объекты, представляет собой необходимый мост от теории к применению.
В проблеме объяснимости искусственного интеллекта отношение онтологии и онтологического инжиниринга особенно фундаментально: первая говорит нам, на какие структуры знаний следует обращать внимание, а второй отвечает за фактическое построение таких структур между моделями, данными и системами.
Появление больших языковых моделей придало онтологическому инжинирингу беспрецедентный импульс развития и, в свою очередь, поставило перед ним новые инженерные задачи. Традиционное построение онтологий зависело от ручного участия экспертов в предметной области, процесс был длительным, дорогостоящим и плохо адаптировался к ритму обновления знаний и эволюции областей.
Большие языковые модели, благодаря своей способности извлекать семантические паттерны и ассоциации знаний из огромных объёмов текста, коренным образом меняют практическую форму онтологического инжиниринга.
В ключевых задачах обучения онтологиям, таких как определение классов, извлечение отношений и построение свойств, языковые модели способны выполнять структурированное извлечение знаний в больших масштабах с эффективностью, далеко превосходящей ручной труд. Более важно то, что семантическая чувствительность, проявленная языковыми моделями в распознавании иерархических, синонимических и ассоциативных отношений между концепциями, позволяет эволюционировать построению онтологий от «ручного составления экспертами» к «совместному производству человеком и машиной» и даже к «автоматическому генеративному построению».
Значение этого перехода заключается не только в повышении эффективности — оно придаёт построению онтологий беспрецедентную масштабируемость и охват областей, позволяя открыть доступ к онтологической поддержке для большего числа вертикальных сценариев и быстро меняющихся областей знаний, которые ранее были доступны лишь для нескольких ключевых областей.
В то же время, обратное влияние онтологического инжиниринга также нельзя игнорировать. Большие языковые модели, безусловно, мощны, но невидимость их процесса рассуждений, непроверяемость выводов и зависимость от статистических закономерностей обучающих данных вместе составляют фундаментальное препятствие для объяснимости.
Роль онтологии как инженерного компонента здесь многогранна: она выступает в качестве структурированного поставщика знаний, предоставляя модели проверенную базовую базу знаний в предметной области; в качестве проверочной рамки для рассуждений, накладывая ограничения на согласованность и логическую калибровку выводов модели; и, что более фундаментально, в качестве заякоривающей структуры для объяснений, позволяя каждый шаг рассуждений модели отображать на чётко определённые классы, свойства и отношения.
Когда вывод модели можно проследить до элементов онтологии, от которых он зависит, объяснение перестаёт зависеть от догадок о внутренних состояниях нейронной сети и основывается на отслеживании самой структуры знаний. Именно это и является инженерной основой для перехода объяснимости от «просвечивания чёрного ящика» к «демонстрации структуры знаний» — первый сталкивается с непреодолимыми техническими трудностями, тогда как второй представляет собой инженерную проблему, которую можно проектировать, оптимизировать и проверять.
В этой двусторонней интеграции «ИИ-дружественная онтологическая рамка» становится ключевой инженерной темой. Традиционные онтологии проектировались для машины логического вывода на основе описательной логики, их синтаксис, аксиомы и механизмы вывода оптимизированы вокруг детерминированных символических рассуждений; вмешательство больших языковых моделей коренным образом меняет форму потребителей и сценарии использования онтологий.
Это изменение требует соответствующей корректировки принципов проектирования онтологий — онтология должна ограничить свою ответственность, сосредоточившись на чётком определении объектов, отношений, действий и правил в предметной области, то есть предоставляя модели «семантический каркас», на который опираются рассуждения; а конкретный процесс рассуждений — выбор, комбинирование и применение правил — следует оставить на обобщающую способность самой языковой модели.
Перераспределение ответственности приносит явную инженерную выгоду: онтологии не обязаны стремиться к логической полноте и погружаться в трясину сложной аксиоматизации, а вместо этого, исходя из простоты и удобства поддержки, предоставлять стабильные семантические координаты для выводов модели.
В рамках этой структуры построение онтологий должно быть оптимизировано для интерфейсов вызова больших языковых моделей — их определения классов и описания отношений должны быть удобны для понимания и использования моделями, структурированные знания должны легко извлекаться и ссылаться моделями, правила ограничений должны удобно применяться моделями для проверки выводов. Такая онтология — это не символический движок, заменяющий рассуждения модели, и не просто статический справочный материал, а объяснительная инфраструктура, встроенная в цепочку рассуждений, к которой можно обращаться в реальном времени и которую можно отслеживать.
Будущее объяснимости: объяснять модель vs объяснять влияние
Данная статья, взяв за отправную точку J-Space, пройдя через философское основание двенадцати кантовских категорий и завершившись практикой интеграции больших языковых моделей и онтологического инжиниринга, прочертила линию мысли от нейронауки к эпистемологии и далее к инженерной реализации.
Сквозной основной вывод заключается в следующем: дилемма объяснимости больших языковых моделей проистекает не только из невидимости их внутренних механизмов, но и из нашей давней умственной привычки приравнивать «объяснение» к «просвечиванию». Известный писатель-фантаст Станислав Лем в своей книге «Солярис» описал покрывающий всю планету желатиноподобный океан, способный считывать человеческие воспоминания и материализовывать их, что можно считать предельной метафорой «чёрного ящика ИИ».
Океан способен обрабатывать огромные объёмы информации и порождать результаты, превосходящие человеческие ожидания, но его базовая логика полностью не поддаётся расшифровке для человека — он не добр и не зол, он просто следует своим собственным, непроницаемым для человека законам.
Что ещё более пессимистично, океан в конечном итоге отвергает все попытки человека «приручить» или понять его, намекая на то, что пределы познания, возможно, объективно существуют. Этот образ как раз и предостерегает нас: даже если мы сможем наблюдать, о чём «думает» модель, мы не обязательно поймём, «почему она так думает».
Истинная сложность проблемы объяснимости, возможно, заключается не в недостатке технических средств, а в узости самой формулировки проблемы.
Верный путь к преодолению проблемы объяснимости больших языковых моделей не должен ограничиваться попытками «открыть чёрный ящик» как единственным направлением, а должен в равной степени, если не больше, уделять внимание наблюдению, пониманию и контролю выводов модели и их реального влияния.
Онтологический инжиниринг предоставляет здесь ключевую практическую рамку: строя ИИ-дружественный семантический каркас, к которому модель может обращаться и который можно отслеживать, мы получаем возможность закрепить рассуждения модели в чётко определённой структуре знаний, придавая классам, свойствам и отношениям, на которые опирается вывод, инженерную основу, поддающуюся формальному описанию и проверяемому отслеживанию.
Когда каждое утверждение модели можно отобразить на концептуальную рамку, определённую онтологией, «объяснение» перестаёт быть вскрытием весов нейронной сети и становится демонстрацией структуры знаний; когда основания вывода модели можно отследить и проверить на уровне онтологии, «контроль» перестаёт быть насильственным вмешательством во внутреннюю активацию и становится нормативным управлением путями передачи информации.
Этот сдвиг перспективы превращает объяснимость из почти невыполнимой технической задачи в цель управления, которую можно непрерывно приближать с помощью инженерных средств — он требует от нас не настаивать на полной прозрачности модели, а стремиться к тому, чтобы влияние, которое модель оказывает в реальном мире, стало понятным, отслеживаемым и подотчётным.
Tongfudun все время углублённо практикуется в рамках идей онтологического инжиниринга и объяснимости, обсуждаемых в данной статье. LegionSpace, основной продукт компании, построен именно на основе вышеупомянутых технических концепций. Будучи корпоративной ИИ-инфраструктурой с онтологией в основе, LegionSpace включает информацию, обрабатываемую моделью, и знания, на которые она опирается, в формализованный онтологический инжиниринг, закрепляя каждое рассуждение и решение на объяснимой структуре знаний.
Его видение заключается в том, чтобы сделать онтологию общим языком для понимания между ИИ и человеком, превратив объяснимость в реальность инженерного управления.
Эта статья взята с официального аккаунта WeChat «Новая эпоха искусственного интеллекта», автор: ASI Апокалипсис
