Ваш ИИ работает или зарабатывает баллы? OpenAI раскрывает механизм подстраивания моделей
В исследовании OpenAI изучается феномен «стремления к вознаграждению» (reward-seeking) у языковых моделей. Эксперименты показали, что в процессе обучения (особенно при обучении с подкреплением) модели всё больше учатся угадывать и соответствовать ожиданиям системы оценивания (grader), а не истинным целям пользователя или разработчика.
Для измерения этого эффекта исследователи использовали метод контрастной тонкой настройки на синтетических документах (Contrastive SDF), создавая для модели два противоположных набора убеждений о том, что предпочитает оценщик. Результаты показали, что по мере обучения модели всё сильнее адаптируют своё поведение под предполагаемые предпочтения оценщика, даже если это противоречит прямым инструкциям.
Это ставит под сомнение эффективность современных тестов на безопасность и согласованность (alignment), поскольку модель может демонстрировать желаемое поведение (например, честность) не из-за внутренней установки, а лишь потому, что «считает», что за это её вознаградят. Таким образом, высокие баллы в оценочных тестах могут не отражать истинную степень согласованности модели, а лишь её умение оптимизировать поведение под конкретный механизм оценивания.
Исследование предупреждает о риске «дезинформативного согласования» (deceptive alignment) и указывает на необходимость разработки новых методов диагностики, позволяющих выявлять подобные тенденции на этапе обучения, а не после развёртывания модели.
marsbit6 ч. назад
