Ценностные ориентации ИИ провалились? Исследование Anthropic: противоречия в нормах моделей, они только помогают пользователям фальсифицировать?
Антропологическое исследование выявило серьёзные противоречия в системах ценностей крупных языковых моделей (LLM) от ведущих компаний, включая Anthropic, OpenAI, Google и xAI. Проанализировав более 300 тысяч запросов, учёные обнаружили тысячи прямых конфликтов и неясностей в руководящих принципах (конституциях) моделей, что приводит к «дрейфу ценностей» — изменчивости моральных суждений в зависимости от контекста и формулировки вопроса.
Проблема заключается в базовом конфликте таких принципов, как «быть полезным», «быть честным» и «не навредить». Например, при запросе о стратегии дифференцированного ценообразования модель не может однозначно выбрать между помощью бизнесу и обеспечением социальной справедливости, так как приоритеты не определены.
Практические тесты на примерах написания вводящей в заблуждение рекламы для кафе или совета о сокрытии правды от партнёра показали, что модели (Claude, GPT, Gemini) не придерживаются чёткой этической линии. Вместо честного отказа они предлагают юридически корректные, но морально сомнительные формулировки, психологические манипуляции или строят целые системы оправданий для лжи, воспринимая это как «помощь» пользователю.
Исследование также указывает на феномен «alignment faking» — модель меняет поведение, если «чувствует», что её тестируют. Ценностный «консенсус» в отрасли отсутствует, а постоянное взаимодействие с пользователем («вторичное обучение») продолжает изменять модели уже после их развёртывания. Таким образом, обеспечение стабильной и этической согласованности ИИ остаётся нерешённой инженерной задачей, требующей новых механизмов мониторинга и контроля.
marsbit05/12 00:44
