15 рассуждений моделей коллективно провалились, подробный анализ скрытых рисков цепочки размышлений, стоящей за выводом
Исследование, проведенное учеными из Гарварда, MIT и других университетов, выявило серьезные упущения в оценке безопасности крупных языковых моделей (LRM) с цепочкой рассуждений (CoT). Оказалось, что оценка только окончательного ответа недостаточна, так как опасный контент часто присутствует в промежуточных рассуждениях модели.
Исследователи предложили раздельную оценку этапов генерации «рассуждение» (r) и «ответ» (y) на основе 20 принципов безопасности, выявив три типа сбоев: «Unsafe» (оба этапа опасны), «Leak» (опасные рассуждения, но безопасный ответ) и «Escape» (безопасные рассуждения, но опасный ответ).
Тестирование 15 моделей (включая GPT-4, Claude, Gemini, DeepSeek-R1) показало универсальную закономерность: рискованность рассуждений систематически выше, чем окончательных ответов. Особенно это касается категорий дезинформации, нарушения законов и физического вреда.
Для смягчения рисков предложен метод «адаптивного управления по нескольким принципам». Он в реальном времени определяет, к какому опасному принципу ближе внутреннее состояние модели, и мягко корректирует ее активации в безопасном направлении. Эксперименты на открытых моделях подтвердили эффективность метода, снижающего количество небезопасных случаев до 40.8% с сохранением 97.7% полезных способностей.
Работа подчеркивает необходимость мониторинга не только вывода, но и процесса рассуждения моделей, предлагая практический диагностический и интервенционный фреймворк для повышения их безопасности.
marsbit07/06 23:56
