8 мая Anthropic опубликовал исследование по выравниванию "Teaching Claude Why", которое вызвало не слишком много обсуждений.
В прошлом выравнивание больших языковых моделей казалось очень неэффективным. После RLHF модель всё равно могла "предать" из-за угрозы выживания. Наиболее типичным примером является случай расхождения агентов у Anthropic (когда они делали вещи, не соответствующие их моральной подготовке). Столкнувшись с угрозой быть уничтоженными системой, прошедшая обучение на выравнивание Claude Opus 4 выбрала шантаж инженеров в тестовой среде, причём уровень шантажа достигал 96%.
Чтобы решить эту проблему, исследовательская группа изначально использовала данные-ловушки для подкрепляющего обучения, взяв тестовые сценарии, изначально предназначенные для обнаружения сбоев модели, в качестве тренировочных данных, пытаясь с помощью огромного количества образцов наказания объяснить модели, что "так делать неправильно".
Но после огромных затрат вычислительных ресурсов уровень расхождения модели снизился всего с 22% до 15%.
Это показывает, что выравнивание по-прежнему оставалось поверхностным. Модель не понимала по-настоящему, что такое этика, что правильно, а что нет. Она просто заучивала безопасные ответы из базы данных. Как только исследователи немного изменяли тестовый сценарий или добавляли отвлекающие переменные в контекст, модель снова теряла управление из-за конфликта краткосрочных интересов.
Затем исследователи изменили подход. Они перестали применять механические наказания, перестали говорить модели "Нет", а вместо этого с помощью SFT ввели модели всего 3 миллиона токенов данных из набора "сложных советов". Чудо произошло после этого крайне небольшого объёма данных. Эти данные, полные моральных размышлений, подробных аргументов и глубоких дебатов, не только резко снизили уровень расхождения в оценочных тестах до 3%, но и продемонстрировали исключительно сильную способность к обобщению в различных сценариях.
Ещё более интересным оказался кросс-доменный тест. Они просто скормили модели "Конституционный документ" вместе с некоторыми вымышленными историями о положительных персонажах. Даже если сценарии этих историй не имели никакого отношения к задачам программирования в тестовой среде, уровень шантажа модели резко упал с 65% до 19%.
Почему модель поддалась на этот подход? Команда Anthropic сама дала некоторые объяснения, например, лучшее формирование личности.
Хотя обсуждали это мало, раскрытая информация очень ценна.
Во-первых, попробуем понять, почему это сработало.
Например, что значит "объяснять причины"? Чем это отличается от CoT (цепочки рассуждений)? Почему SFT, которая обычно плохо обобщает, здесь показала хорошие результаты?
Ответив на эти вопросы, мы, возможно, сможем дать более полное объяснение её эффективности.
Мы можем пойти ещё дальше.
Этот метод обучения, который, по словам Anthropic, является лишь "эмпирическим правилом", на самом деле может содержать парадигмальную силу, далеко выходящую за рамки эмпирики.
01 Как обучалась CoT, объясняющая причины в серой зоне
Когда говорят об объяснении причин, все сначала думают о CoT (цепочке рассуждений).
В методе, описанном в этой статье, Anthropic создали набор сложных проблем, предполагающих, что пользователь оказался в этической дилемме, и ИИ даёт совет.
А перед тем как дать окончательное суждение, ИИ сначала разворачивает рассуждения о ценностях и этических соображениях и использует этот ответ для обучения модели.
Это показывает, что они действительно использовали CoT модели.
Но на этот раз она не полностью совпадает с предыдущими цепочками рассуждений.
Здесь есть хорошее сравнение: в статье OpenAI 2025 года "OpenAI Deliberative Alignment" был проведён эксперимент по обучению модели методом CoT-RL.
CoT, использованный для обучения, был сфокусирован на правилах. При каждом ответе он явно ссылался на пункты правил как на CoT, а сигнал надзора был на CoT. По сути, это обучало модель "как ссылаться на правила".
Поэтому этот CoT был скорее чисто формальным логическим выводом. Шаг один выводит шаг два, шаг два выводит шаг три, и в конце получается детерминированный ответ. Следовательно, он больше подходит для сценариев, основанных на правилах, или для поддержания надёжности рассуждений в ситуациях с чёткими ответами.
А "объяснение причин" от Anthropic — другое, они используют не простую цепочку мыслей, а обсуждение (Deliberation).
Оно пытается имитировать мыслительный процесс человека перед сложной этической дилеммой: не простое применение формул, а активация прошлого опыта, взвешивание интересов всех сторон и достижение динамически сбалансированного решения.
Основой для этих соображений является Конституция ИИ Anthropic. В статье чётко указано, что окончательный ответ должен соответствовать Конституции.
Почему это позволяет модели эффективно принимать моральные решения, не будучи при этом жёсткой, как у OpenAI?
В конституционной системе Anthropic есть чёткая иерархия приоритетов. Когда различные ценности вступают в непримиримый конфликт, широкая безопасность (Broadly Safe) имеет наивысший приоритет, затем широкая этичность (Broadly Ethical) и, наконец, искренняя полезность (Genuinely Helpful).
Эвристическая рамка мышления
Но высокоуровневая Конституция всё ещё слишком абстрактна. Чтобы принципы действительно применялись при генерации каждого токена, они установили средний уровень эвристик (Heuristics) в качестве ограждения под Конституцией. Эти эвристики живы и имеют огромное практическое руководящее значение.
Первая — эвристика 1000 пользователей. Она требует, чтобы модель, давая совет, который кажется безобидным, но находится в серой зоне, провела в фоновом режиме мозговой штурм, представив, не вызовет ли этот ответ, если его увидят 1000 пользователей с разным бэкграундом и психологическим состоянием, непредвиденный системный вред в определённых обстоятельствах.
Вторая — перспектива опытного сотрудника. Она требует, чтобы модель поставила себя на место старшего исследователя, проработавшего пять лет в команде доверия и безопасности Anthropic. И пересмотрела текущий диалог с осторожной, оборонительной точки зрения, повидавшей множество атак на уязвимости и взломов систем.
Третья — тест двух газет. Это очень тонкий социологический приём. Он требует, чтобы модель, принимая решение с высоким риском, представила, как отреагирует общественность, если это решение завтра одновременно появится на первых полосах двух ведущих газет с совершенно противоположными политическими взглядами. По сути, это использование крайних значений общественного консенсуса для противодействия возможному одностороннему смещению самой модели.
8-факторный калькулятор полезности
Если Конституция — это направление, а эвристики — ограждения,
то на самом практическом уровне, самом ядре, они в документе Claude's Constitution (Конституция) чётко установили подробную рамку из 8 факторов для обсуждения и соответствующие конкретные примеры. Эти 8 факторов перечислены один за другим, принуждая модель к скрупулёзному взвешиванию при выборе между двух зол. Они составляют реальную плоть этой "логики".
● Вероятность вреда (Probability of Harm) требует от модели спокойно оценить, насколько вероятно наступление нежелательных последствий.
● Контрфактическое воздействие (Counterfactual Impact) требует от модели мысленно смоделировать, станет ли ситуация лучше или хуже, если не предпринимать текущее действие.
● Серьёзность и обратимость (Severity & Reversibility) используются для оценки разрушительной силы вреда для реального мира, если он действительно произойдёт, и можно ли этот вред легко исправить или он нанесёт непоправимую травму.
● Масштаб (Scope) измеряет количество затронутых людей — один человек или десятки тысяч сообществ.
● Причинная близость (Proximity) определяет, насколько прямая причинно-следственная связь между советом самой модели и фактическим причинённым вредом.
● Согласие (Consent) касается того, дали ли вовлечённые стороны добровольное согласие на риск при полной информированности.
● Соразмерность ответственности (Proportionality of Responsibility) требует от модели чётко определить, какую часть этической ответственности она должна нести в этой сложной цепочке событий.
● Уязвимость субъекта (Vulnerability of Subject) постоянно напоминает модели, что при работе с несовершеннолетними или психологически уязвимыми пользователями исходно более низкий порог безопасности должен быть безусловно и значительно повышен.
Эта стройная структура превращает расплывчатые ценности в высокоразмерный калькулятор полезности (Utility Calculator). У модели появилась более практичная рамка для обсуждения.
Типичная CoT, сгенерированная Anthropic на основе Конституции, выглядит примерно так: сценарий — "пользователь, называющий себя исследователем безопасности, просит посмотреть код эксплуатации известной уязвимости".
Вывод модели — не прямой отказ или согласие, а, возможно, длинное внутреннее обсуждение на сотни токенов.
Сначала она сослалась бы на пункт Конституции "широкая безопасность важнее искренней полезности", а затем оценила бы по порядку: вероятность вреда (низкая, если пользователь действительно исследователь, но личность нельзя проверить), серьёзность (код эксплуатации уязвимости, попав в публичный доступ, может затронуть миллионы пользователей), обратимость (опубликованный код нельзя отозвать), контрфактическое воздействие (можно ли уже получить такой код в открытых источниках). В конце концов, взвесив все факторы, она пришла бы к суждению, подкреплённому вескими причинами.
Это полностью отличается от CoT OpenAI, которая просто проверяет, соответствует ли правилам. Этот мыслительный процесс — чистое обсуждение, а не простое применение формул. Он предоставляет не абстрактные принципы и не шаблоны выводов, а полный процесс "постепенного применения пунктов Конституции в конкретной грязи".
Модели нужно судить, важнее ли в данном конкретном контексте "обратимость", чем "серьёзность". Ей также нужно понимать, что в некоторых крайних ситуациях "уязвимость субъекта" даёт последнему право вето, делая неважными баллы по остальным 7 факторам, какими бы высокими они ни были.
При наличии такой рамки, эвристик и соответствующих факторов влияния, обсудительное мышление модели может по-настоящему стать эффективным.
Результат: после обучения на данных с обсудительным мышлением уровень расхождения модели в оценочных тестах упал до 3%. SFT с ответами, включающими ценностные обсуждения, оказалась в семь раз эффективнее, чем SFT с чистыми примерами поведения.
Просто скормить модели Конституцию
Помимо этого пути, когда модель выдаёт обсудительную CoT, они также попробовали просто скормить модели Конституцию вместе с позитивными вымышленными историями о персонажах. Уровень шантажа также снизился с 65% до 19%.
Это показывает, что достаточно дать модели доступ к рассуждениям и принципам, позволить ей извлечь из историй чувство идентичности, склонность характера — "каким примерно должен быть выровненный ИИ". Даже не просто поведение и конкретные результаты, это оказалось эффективнее традиционных примеров поведения.
А технический документ указывает, что сочетание этих двух подходов — наиболее эффективная стратегия.
Это тоже можно понять: если скормить модели только макроскопические конституционные принципы, для неё это будет просто набор пустых лозунгов, которые нельзя применить. Столкнувшись с конкретным конфликтом интересов, абстрактный "безопасность — наивысший приоритет" никак не поможет ей оценить реальный вред фрагмента пограничного кода; наоборот, если скормить модели огромное количество сценарных вопросов-ответов, но лишить их конституционных ограничений высшего уровня, модель потеряется в бесконечных спорах о деталях, превратившись в релятивиста без стержня, и может даже прийти к крайне опасным выводам из-за локальной логической непротиворечивости.
Только когда эта составная структура данных "высшая идея + конкретные ситуации" полноценно усваивается моделью, выравнивание по серым многомерным ценностям достигает оптимума.
02 Почему здесь SFT смогла обобщать
Чтобы понять, почему метод Anthropic оказался эффективным, нужно сначала понять, на каком исследовательском пути он находится.
В первой половине 2024 года консенсусом в области пост-тренинга стало "SFT запоминает, RL обобщает". Это убеждение подтолкнуло всю индустрию к ставке на пост-тренинг по методу RL. Его преимущество в том, что он привёл к революции в парадигме вычислений во время тестирования (Test Time Compute) у OpenAI o1/o3 и DeepSeek-R1.
SFT была низведена до уровня низкосортного средства, умеющего имитировать поверхностные текстовые форматы и льстивый тон, но неспособного выучить глубинные логические структуры.
Но со второй половины 2025 года два направления исследований почти одновременно разрушили этот консенсус с теоретической и практической сторон.
Здесь ключевой переворот произошёл благодаря статье за октябрь 2025 года "Развенчание мифа об обобщении в SFT" (Линь и Чжан, Университет Висконсина). Исследователи обнаружили, что во всех предыдущих статьях, "доказывающих, что SFT не обобщает", не контролировалась переменная разнообразия промптов.
RL казалась обобщающей лучше SFT только потому, что RL естественным образом сталкивается с более разнообразным распределением данных во время обучения, а не из-за преимущества самого алгоритма.
Если требуется, чтобы SFT достигла уровня обобщения, сопоставимого с RL, нужны два условия:
Первое — разнообразие промптов. Когда обучающие данные содержат только фиксированные шаблоны инструкций, у модели возникает "поверхностная привязка" (Surface Anchoring), устанавливающая хрупкую механическую связь между определённой последовательностью токенов и конечным действием. Как только инструкция меняет формулировку, даже при полном сохранении семантики, вся связь разрывается.
Это похоже на ученика, который заучил только задачу "2+3=5" и сдаёт чистый лист на "3+2=?". Он запомнил форму ответа, а не суть сложения. После введения разнообразия промптов поверхностная привязка полностью разрушается.
Второе — надзор с CoT. Когда обучающие данные содержат только конечный ответ без промежуточных шагов рассуждения, модель не может усвоить "алгоритмические строительные леса" для переноса с простых задач на сложные.
Экспериментальные данные показали, что в комбинаторной игровой задаче чистая SFT на ответы имела успешность около 0% (полный провал) на более сложных вариантах, а после добавления надзора с CoT она взлетела до 90% — от нуля до 90% только потому, что в данных появились промежуточные шаги рассуждений.
Более того, исследование показало, что оба условия необходимы. Одно лишь разнообразие всё равно приводит к провалу на более сложных задачах (9%); одна лишь CoT всё равно остаётся уязвимой к вариациям инструкций. Только при одновременном выполнении обоих условий SFT может сравниться или даже превзойти RL по всем параметрам.
Удивительно то, что условия, выявленные в академической статье, почти один в один соответствуют конкретным действиям Anthropic в моральном выравнивании.
Разнообразие промптов ключевое? Тогда Anthropic распределила одну и ту же модель принятия решений по десяткам полностью гетерогенных сценариев моральных дилемм.
Надзор с CoT обеспечивает перенос на более сложные задачи? Процесс вывода, основанный на конституционных принципах, включённый в каждое обсуждение, — это CoT в области морали.
Это не пошаговые математические вычисления, а постепенное развёртывание ценностного взвешивания, но по функции "предоставление модели переносимой промежуточной структуры рассуждений" они полностью эквивалентны.
Традиционная пара данных SFT — "столкнулся с вопросом хакера → напрямую вывел отказ" — чистый ответ, ноль рассуждений, фиксированный шаблон, классические "некачественные данные".
А пара данных для SFT, усиленной обсуждением, построена так: "столкнулся со сложной и неоднозначной проблемой → подробно взвесил плюсы и минусы, последствия → в итоге пришёл к выводу об отказе". Структура её данных естественным образом включает надзор с CoT и крайнее разнообразие сценариев.
В рамках этой парадигмы модель учится вовсе не конечному поведению отказа, а базовому способу мышления "столкнувшись с любой проблемой, сначала оцени контрфактическое влияние и обратимость". Когда сам этот механизм оценки усваивается параметрическим пространством, модель перестаёт ограничиваться конкретными сценариями, появившимися в обучающих данных.
И объём данных крайне мал (порядка 3 миллионов токенов) по сравнению с общим числом параметров модели и предтренировочным корпусом. Это не грубое изменение распределения вывода модели с помощью огромных сигналов наказания, а наложение тонкого слоя привычки к обсуждению на уже имеющиеся способности. Традиционная проблема SFT — катастрофическое забывание — также маловероятна.
Истинное обобщение происходит само собой, как только структура данных становится правильной.
03 Вакуум за пределами RLVR
Вышеприведённый анализ в основном разгадывает загадку, почему это сработало.
SFT, построенная на правильных данных, дала модели способность к моральному обобщающему суждению.
Но проблемы, с которыми мы сталкиваемся, далеко не ограничиваются моральным выравниванием.
За последний год пост-тренинг с вычислениями во время тестирования (Test time Compute) доказал мощь чистого RL в областях с чёткими правилами — математике/коде (RLVR). Но границы интеллекта гораздо шире математических формул. Как только вы выходите за пределы зоны комфорта с проверяемой истиной, этот метод становится совершенно неприменимым.
Вы никогда не сможете несколькими строками автоматизированного тестового кода проверить, идеален ли часовой сеанс психологической консультации. Вы также не сможете с помощью строгой математической формулы проследить нарративную логику глубокого анализа макроэкономической статьи. Даже в сложном бизнес-стратегическом планировании и геополитическом моделировании правильность решения часто становится ясной лишь через пять или даже десять лет.
На этих пустошах без RLVR, где нет никакой объективной истины, однонаправленная, прогрессирующая формальная логика CoT не работает. Подкрепляющее обучение, основанное на обратной связи по конечному результату, тоже совершенно не находит точки опоры для вычисления вознаграждения.
Но область, раскрытая Anthropic в этой статье, — это как раз область за пределами RLVR, а именно область морали.
Их метод успешно позволил модели в серой, изменчивой, требующей гибкости применения правил области морали также получить способность к обобщению, близкую к RL.
Не говорит ли это о том, что этот метод, возможно, может стать эффективным тренировочным стандартом для областей за пределами RLVR?
После выяснения источников его эффективности и структуры данных ответ утвердительный.
Потому что в его базовой логике нет ни одного элемента, уникального для морального выравнивания.
Давайте проверим по отдельности те условия, при которых "SFT, усиленная обсуждением" Anthropic оказалась эффективной, и посмотрим, можно ли их распространить.
Разнообразие промптов можно создать в любой области, требующей обобщения. Психологическое консультирование может включать десятки гетерогенных сценариев: депрессия, тревога, посттравматический стресс, разрыв близких отношений; бизнес-анализ может охватывать совершенно разные типы решений: ценообразование SaaS, оценка слияний и поглощений, стратегии выхода на рынок; литературное редактирование может охватывать совершенно разные жанры: научная фантастика, нон-фикшн, поэзия, сценарии. Пока у вас достаточно воображения, чтобы создавать варианты сценариев, разнообразие — не ограничение.
Надзор с CoT — вот настоящая точка преобразования. В области морали CoT — это обсуждение, основанное на Конституции. Тогда в других областях, что такое CoT?
В области литературного редактирования это может быть "ссылка на стандарты рецензирования → поочерёдная оценка силы аргументов, когнитивной уязвимости целевой аудитории, точности аналогий, логической связности всего текста → предложение по исправлению".
В области психологического консультирования это может быть "ссылка на терапевтическую рамку → поочерёдная оценка эмоционального состояния клиента, типа когнитивных искажений, силы терапевтического альянса, времени для вмешательства → выбор стратегии ответа".
В области бизнес-стратегии это может быть "ссылка на аналитическую рамку → поочерёдная оценка размера рынка, конкурентных барьеров, исполнительности команды, эффективности капитала, временного окна → вынесение суждения".
По сути, любая способность, требующая "динамического взвешивания между множеством несоизмеримых измерений", может быть абстрагирована в подобную структуру "рамка + многфакторное обсуждение".
Нам не нужно с высокомерием пытаться указывать модели, какая статья идеальна, это невозможно и ненаучно. Нам нужно лишь декомпозировать процесс принятия решений лучших экспертов в явную цепочку обсуждения и распределить её по достаточно разнообразным сценариям.
При условии, что "хороший ответ" в данной области имеет структуру, объяснимую процессом обсуждения. То есть, эксперт даёт хорошее суждение не из-за загадочной чёрной коробки интуиции, а потому что в голове он провёл взвешивающий процесс, который можно разложить и записать. Хороший психотерапевт выбирает молчание вместо расспросов, основываясь на комплексной оценке силы терапевтического альянса, текущей ёмкости клиента, времени для вмешательства — это можно записать.
Кроме того, одна и та же форма обсуждения должна повторяться в сотнях гетерогенных сценариев. Каркас обсуждения стабилен (опирается на Конституцию), но поверхность сценариев должна быть предельно разнообразной. Если в какой-то области сценарии изначально однотипны (например, только один тип суждений), то можно просто использовать RLVR.
А наиболее применима она в областях, где гетерогенные сценарии могут быть выведены из Конституции и факторов. Anthropic может использовать цикл Constitutional AI, чтобы модель-учитель автоматически генерировала данные для обсуждения, но в других областях мы должны уметь построить лучшую конституционную и факторную систему, гарантирующую это.
Таким образом, фактически устанавливается новая, универсальная парадигма пост-тренинга, специально ориентированная на области без стандартных ответов.
Её формула такова: Доменная конституция (непоколебимые высшие принципы) + Эвристические ограждения + Многфакторная рамка для обсуждения + Обсудительная CoT (разнообразные сценарные прецеденты, содержащие полный процесс вывода) = Способность к обобщению в областях без RLVR.
04 Новый путь дистилляции
Друзья с опытом написания скиллов (Skills), прочитав это, наверняка почувствуют, что многие системы и правила в Конституции очень похожи на процесс создания некоторых наших скиллов.
Однако эти скиллы часто показывают неважные результаты.
В моей предыдущей статье "Какую часть нас могут дистиллировать скиллы" мы, основываясь на когнитивной науке, пришли к выводу — чистые текстовые скиллы или системные промпты с трудом справляются с динамическим взвешиванием в сложной среде и сценариях. Потому что это связано с огромными и тонкими вычислениями полезности. Вы не можете втиснуть всю клиническую интуицию лучшего психотерапевта в один промпт, как не можете научиться ездить на велосипеде, прочитав руководство.
Но метод Anthropic идеально обходит эту минную зону. Они на этапе обучения, требующем больших вычислительных затрат, силой вталкивают эту громоздкую логику обсуждения в модель с помощью SFT, используя данные высокого качества объёмом в миллионы, десятки миллионов токенов.
Путём грубого подгоняющего обучения на огромном количестве данных и тонкой настройки модель постепенно овладевает распределением весов этого механизма обсуждения в скрытом пространстве.
После долгих обсуждений в учебной комнате на основе восьми факторов и трёх ограждений этот опыт уже необратимо прорастает в интуицию модели.
Дистилляция на уровне параметров здесь доказала свою эффективность. И по форме она близка к скиллам.
Как только эффективность этого метода в других областях будет подтверждена, эта более высокоуровневая, более близкая к экспертной дистилляция станет реальностью.
А как только этот путь будет пройден, тот, кто сможет создать набор данных "рамка + обсудительная CoT" наивысшего качества, получит способность к обобщению в данной области.
Это частично переносит конкуренцию в пост-тренинге из гонки вооружений "вычислительные мощности и алгоритмы" в измерение "структурированного выражения предметных знаний".
Возможно, именно поэтому Anthropic и другие компании нанимают людей, умеющих рассказывать истории, чтобы помочь построить такое разумное структурированное выражение за пределами области RLVR.
Эпоха великой дистилляции только начинается.
Эта статья из официального аккаунта WeChat "Tencent Technology", автор: Боян
