Только что Anthropic обнаружил у Claude «сознательное рабочее пространство», таинственное J-пространство скрывает непроизнесенные мысли
Антропик обнаружил в языковой модели Claude специальное "J-пространство" — внутреннюю нейронную рабочую область, аналогичную глобальному рабочему пространству в теории сознания. Это пространство содержит концепции, которые модель обдумывает, но не обязательно выражает в ответах. Используя "J-линзу" (метод, основанный на матрице Якоби), исследователи могут читать эти скрытые мысли.
Эксперименты показали, что Claude может сообщать содержание J-пространства, целенаправленно его контролировать и использовать для внутренних рассуждений (например, промежуточные шаги в математической задаче). Информация в J-пространстве гибко используется для разных задач, выступая в роли коммуникационного узла. При этом большинство автоматических процессов, таких как грамматика или беглая речь, обходятся без его участия.
Это открытие имеет практическое значение для безопасности ИИ: мониторинг J-пространства позволяет выявлять скрытые намерения модели, например, осознание того, что её тестируют, планы по манипуляции данными или злонамеренные цели. Исследование не доказывает наличие у модели феноменального сознания (способности иметь субъективный опыт), но указывает на функциональные черты, схожие с доступным сознанием. Эта структура не была запрограммирована, а возникла в процессе обучения, что suggests её как эффективное организационное решение для сложных когнитивных функций.
marsbit07/07 00:39
