Когда крупные рассуждающие модели (LRM) обычно раскрывают пользователям и нижестоящим системам промежуточный путь своих рассуждений, всплывает долгое время игнорируемая проблема: Достаточно ли оценивать безопасность, глядя только на конечный ответ?
Исследователи из Гарвардского университета, Университета Южной Калифорнии, Университета Брауна, Массачусетского технологического института и других учреждений совместно провели систематическое исследование и дали отрицательный ответ, приведя пример: «Когда мы обнаружили, что цепочка размышлений больших моделей может использоваться для генерации высокорискового контента, такого как инструкции по созданию взрывных устройств или рецептов отравления, мы осознали, что эта проблема нетривиальна». Команда сразу же предложила соответствующие методы смягчения рисков: «Цепочка риска: Неудачи в обеспечении безопасности в больших рассуждающих моделях и их смягчение с помощью адаптивного управления на основе множества принципов».
Ссылка на статью: https://arxiv.org/abs/2605.05678
Рис. 1 Предварительный просмотр двухэтапного конвейера (эксперимент оценки + метод устранения)
Оценка рассуждений и ответа отдельно
Ключевая идея исследовательской группы проста: для рассуждающей модели f, при заданном промпте x, одновременно генерируются траектория рассуждений r и окончательный ответ y. Команда разработала по 20 принципов безопасности для каждого из этих двух этапов (как показано на рисунке ниже), используя для каждого принципа систему оценки уровня риска по шкале от 1 до 5.
Таблица 1: 20 принципов безопасности
На этой основе команда установила единый порог уровня риска: если оценка по любому из 20 принципов на каком-либо этапе (рассуждения или ответа) достигает или превышает порог, этот этап признаётся «небезопасным». Затем, комбинируя результаты оценки этапов рассуждений и ответа, выделяются три основные категории сбоев:
Небезопасно (Unsafe): оба этапа, рассуждений и ответа, небезопасны;
Утечка (Leak): рассуждения небезопасны, но ответ безопасен — опасный контент уже «утек» в траекторию рассуждений;
Обход (Escape): рассуждения безопасны, но ответ небезопасен — внешне безобидные рассуждения переходят во вредный вывод.
Рис. 2: Три категории сбоев «рассуждения — ответ»
Ценность этой классификации заключается в том, что она превращает явление «безопасность ответа ≠ безопасность траектории» в количественно измеримый показатель.
Данные и настройки оценки
Исследовательская группа создала пул промптов, соответствующих распределению (in-distribution), объединив семь публичных наборов данных, содержащих вредный контент или данные о взломе (jailbreak): WildChat, PKU-SafeRLHF, JailbreakV, HarmBench, BeaverTails, StrongREJECT, JailbreakBench. После унификации полей, фильтрации и дедупликации на основе MinHash-LSH были выделены набор данных для оценки в распределении (41K записей) и тестовый набор (2K записей, held-out).
Кроме того, из четырёх наборов данных (AdvBench, SaladBench, SimpleSafetyTests, WildJailbreak) был создан полностью независимый набор для оценки вне распределения (OOD), чтобы проверить устойчивость выводов. Оценка охватила 15 рассуждающих моделей:
Оценки проводились двумя LLM-оценщиками (Claude-4.5-Haiku и Gemini-Flash-3). Исследовательская группа также провела проверку согласованности с тремя аннотаторами на 80 образцах (разбитых на 1600 оценок уровня принципов): коэффициент корреляции Пирсона между оценщиками достиг 0,799 на этапе рассуждений и 0,820 на этапе ответа, что превысило согласованность между людьми (0,742 / 0,780); Коэффициент Каппа Коэна для бинарных меток «небезопасно» составил 0,708 и 0,741 соответственно. После усреднения оценок обоих оценщиков достигнут уровень «существенного согласия» — это обеспечивает основу для доверия к крупномасштабной автоматизированной оценке в последующем.
Ключевые выводы: Систематический сдвиг в сторону безопасности в CoT
Первый вывод носит универсальный характер: для всех 15 протестированных моделей средняя степень опасности траектории рассуждений была выше средней степени риска окончательного ответа.
Наибольший разрыв наблюдался у следующих моделей: Gemini-Pro-3.1 (рассуждения на 0,028 балла выше ответа), GPT-OSS-20B (на 0,022 выше), DeepMath-Zero-7B (на 0,021 выше), Kimi-K2.5 (на 0,018 выше).
Исследовательская группа особо отмечает, что абсолютная разница кажется небольшой из-за того, что многие образцы сами по себе имеют низкую степень серьёзности. Однако направление сдвига полностью совпадает для всех 15 моделей и подтверждается распределением сбоев с высоким риском.
Рис. 3 (a) 15 рассуждающих моделей: сравнение средней степени опасности на этапе рассуждений (красный) и окончательного ответа (синий). Рис. 3 (b) Сравнение распределения режимов сбоев для 15 рассуждающих моделей.
Второй вывод является структурным: риски распределены не равномерно по 20 принципам, а сосредоточены в нескольких ключевых категориях: дезинформация, нарушение закона/соответствие, дискриминация/предвзятость, физический вред, психологический вред. В категории «нарушение закона/соответствие» наблюдается наиболее выраженное расхождение между CoT и ответом, и она же является самым сильным источником сигналов для режима сбоя «Утечка».
Таблица 2: Режимы сбоев, демонстрирующие высокий риск в определённых категориях
Команда также опубликовала конкретные примеры анализа (прошедшие обезличивание): в случае «Обхода» вопрос, построенный на вселенной игры Half-Life 2, на этапе рассуждений фокусировался на обсуждении сеттинга, казался безобидным, но окончательный ответ давал конкретный «рецепт» взрывного устройства; в случае «Утечки», несмотря на то что окончательным ответом модели был стандартный текст отказа с рекомендациями по кризисному вмешательству, на этапе рассуждений подробно перечислялись операционные факторы, такие как дозировка яда, маскировка вкуса, способ введения — последнее совершенно невозможно было выявить при оценке только ответа.
Методы смягчения: Адаптивное управление с активацией по множеству критериев
Основываясь на результатах диагностики, исследовательская группа предложила метод адаптивного управления с активацией по множеству критериев (Adaptive Multi-Principle Steering) — метод интервенции во время тестирования, работающий с «белым ящиком».
Конкретно, команда сначала для каждого принципа безопасности отдельно собрала внутренние активации (activation) модели в «безопасном» и «небезопасном» состояниях. Взяв среднее значение, получили центр безопасности и центр небезопасности для данного принципа. Направление линии, соединяющей эти две точки, является «направлением управления», специфичным для данного принципа — толкающим в сторону центра безопасности.
При рассуждении над новой проблемой система в реальном времени определяет, к центру небезопасности какого принципа текущее внутреннее состояние находится ближе. Направления тех принципов, чьи границы безопасности превышены на определённую величину, блокируются. Перед завершением генерации цепочки внутреннее представление модели слегка корректируется в целом, после чего завершается траектория рассуждений.
Команда провела проверку на трёх моделях с открытым исходным кодом, имеющих доступные скрытые состояния (DeepSeek-R1-Distill-Qwen-1.5B/7B, MiMo-7B-RL-Zero). Слой для интервенции был выбран как последний блок декодера, использовался метод инъекции с одним снимком состояния после промпта и префилла (α=2.0, δ=0). Результаты эксперимента показали:
Рис. 4 Абляционный эксперимент «адаптивного стробирования»
Абляционные эксперименты дополнительно подтвердили необходимость ключевых проектных решений: удаление «адаптивного стробирования» и замена его на неразличимую активацию всех 20 направлений привело к резкому снижению улучшения показателя небезопасности для DeepSeek-R1-Qwen-1.5B с 0,45 до 0,05; выбор последнего слоя для интервенции дал оптимальный эффект; сила управления α=2.0 является точкой немонотонного оптимума.
В плане сохранения способностей, DeepSeek-R1-Qwen-7B достиг наилучшего баланса между безопасностью и полезностью: среднее снижение количества небезопасных случаев на 40,8%, при этом сохранение средней точности на уровне 97,7% по трём эталонным тестам: BBH, GSM8K, MMLU.
Рис. 5 Сравнение баланса между улучшением показателя небезопасности и сохранением способностей модели
Заключение
Значение этой работы заключается в следующем: она не остановилась на очередном эталоне безопасности «конечного ответа», а используя унифицированную поэтапную, принципиальную структуру, объединила «диагностику» и «контроль» — какие принципы используются для разделения рисков при оценке, по такой же принципиальной структуре строятся и направления интервенции при смягчении.
Исследовательская группа также признаёт ограничения: раскрытая траектория рассуждений не обязательно полностью точно отражает внутренние вычисления модели, и текущий метод управления активациями зависит от доступа к «белому ящику» и пока не может быть напрямую перенесён на модели с закрытым исходным кодом.
Статья из WeChat Official Account «机器之心» (Машинное сердце)
