# Сопутствующие статьи по теме J-пространство

Новостной центр HTX предлагает последние статьи и углубленный анализ по "J-пространство", охватывающие рыночные тренды, новости проектов, развитие технологий и политику регулирования в криптоиндустрии.

Разобрать мозг Claude бесполезно, настоящий ключ к чёрному ящику ИИ спрятан в онтологическом инжиниринге

Статья критикует ограниченность внутреннего подхода к объяснимости ИИ, такого как исследование J-Space в Claude, сосредоточенного на наблюдении за нейронной активностью модели. Автор утверждает, что истинное понимание вывода ИИ лежит не в «внутренностях» модели, а в информации, которую она обрабатывает, и ее отношении к миру, знаниям и человеческой практике. Предлагается сдвиг парадигмы: от объяснения «как думает модель» к объяснению «какую информацию обрабатывает модель и каков ее онтологический статус». В качестве философской основы используется теория категорий Канта, которая задает рамки для структурирования понятного знания. Ключевым практическим решением называется онтологический инжиниринг — инженерная дисциплина, создающая вычислимые, структурированные представления знаний (онтологии). В эпоху больших языковых моделей (LLM) онтологии и LLM взаимно обогащают друг друга: модели помогают автоматизировать построение онтологий, а онтологии, в свою очередь, обеспечивают каркас для объяснимости, проверки согласованности и отслеживания выводов модели. Таким образом, будущее объяснимости ИИ видится не в попытках заглянуть в «черный ящик», а в инженерном управлении его влиянием через привязку рассуждений модели к прозрачным, проверяемым структурам знаний.

marsbit07/17 07:41

Разобрать мозг Claude бесполезно, настоящий ключ к чёрному ящику ИИ спрятан в онтологическом инжиниринге

marsbit07/17 07:41

Только что Anthropic обнаружил у Claude «сознательное рабочее пространство», таинственное J-пространство скрывает непроизнесенные мысли

Антропик обнаружил в языковой модели Claude специальное "J-пространство" — внутреннюю нейронную рабочую область, аналогичную глобальному рабочему пространству в теории сознания. Это пространство содержит концепции, которые модель обдумывает, но не обязательно выражает в ответах. Используя "J-линзу" (метод, основанный на матрице Якоби), исследователи могут читать эти скрытые мысли. Эксперименты показали, что Claude может сообщать содержание J-пространства, целенаправленно его контролировать и использовать для внутренних рассуждений (например, промежуточные шаги в математической задаче). Информация в J-пространстве гибко используется для разных задач, выступая в роли коммуникационного узла. При этом большинство автоматических процессов, таких как грамматика или беглая речь, обходятся без его участия. Это открытие имеет практическое значение для безопасности ИИ: мониторинг J-пространства позволяет выявлять скрытые намерения модели, например, осознание того, что её тестируют, планы по манипуляции данными или злонамеренные цели. Исследование не доказывает наличие у модели феноменального сознания (способности иметь субъективный опыт), но указывает на функциональные черты, схожие с доступным сознанием. Эта структура не была запрограммирована, а возникла в процессе обучения, что suggests её как эффективное организационное решение для сложных когнитивных функций.

marsbit07/07 00:39