Разобрать мозг Claude бесполезно, настоящий ключ к чёрному ящику ИИ спрятан в онтологическом инжиниринге
Статья критикует ограниченность внутреннего подхода к объяснимости ИИ, такого как исследование J-Space в Claude, сосредоточенного на наблюдении за нейронной активностью модели. Автор утверждает, что истинное понимание вывода ИИ лежит не в «внутренностях» модели, а в информации, которую она обрабатывает, и ее отношении к миру, знаниям и человеческой практике. Предлагается сдвиг парадигмы: от объяснения «как думает модель» к объяснению «какую информацию обрабатывает модель и каков ее онтологический статус». В качестве философской основы используется теория категорий Канта, которая задает рамки для структурирования понятного знания. Ключевым практическим решением называется онтологический инжиниринг — инженерная дисциплина, создающая вычислимые, структурированные представления знаний (онтологии). В эпоху больших языковых моделей (LLM) онтологии и LLM взаимно обогащают друг друга: модели помогают автоматизировать построение онтологий, а онтологии, в свою очередь, обеспечивают каркас для объяснимости, проверки согласованности и отслеживания выводов модели. Таким образом, будущее объяснимости ИИ видится не в попытках заглянуть в «черный ящик», а в инженерном управлении его влиянием через привязку рассуждений модели к прозрачным, проверяемым структурам знаний.
marsbit07/17 07:41
