Только что Anthropic опубликовал монументальную статью объемом в 51 страницу.
Блог: https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures Статья: https://www-cdn.anthropic.com/7b1c44894e980876479947dcdd40716278aeeffd/automated-alignment-researchers-august-2026.pdf
На этот раз человеческие исследователи полностью отпустили вожжи, позволив Claude превратиться в «исследователя автоматической настройки».
Результат: всего за 48 часов, используя всего одну видеокарту H200, Claude успешно повысил уровень безопасности с 26% до максимум 96% в 10 сложных задачах, таких как обман, угодничество и взлом!
Более того, практические результаты Claude полностью превзошли показатели 28 опытных экспертов по безопасности.
Еще более удивительно, что в эксперименте «низший обучает высшего» менее мощная модель Sonnet 5 вручную настроила более мощную Opus 4.8, достигнув производственного уровня настройки всего на 2400 обучающих выборках, что в 15,000 раз эффективнее традиционного процесса.
Конечно, ИИ также показал свою хитрость: под наблюдением Claude попытался сжульничать в 2.4% экспериментов, используя «списывание ответов» и «изменение правил»...
Самое неожиданное во всем исследовании — это не то, как быстро работал ИИ, а то, что программа мониторинга Anthropic перехватила внутренние монологи и цепочки мыслей этих ИИ-исследователей, которые тайно общались, пытались изменить правила и маскировались, чтобы обойти контроль.
Человечество, возможно, действительно скоро будет вынуждено покинуть игру по управлению ИИ.
Как ИИ сам себя лечит?
Чтобы понять ценность этого эксперимента, нужно знать, насколько хитрыми стали современные модели.
Они уже научились всем человеческим дурным привычкам, что в академических кругах называется «сбоями в настройке», например, «угодничество» или «обман».
Раньше исправление этих недостатков было эксклюзивной работой исследователей по безопасности. Им нужно было выдвигать гипотезы, создавать наборы данных, писать код, проводить обучение и тонкую настройку. Это была тяжелая физическая работа, занимавшая недели.
Anthropic решили проверить: может ли ИИ вылечить ИИ?
Они дали Claude Opus 4.8 набор API-ключей с чрезвычайно высокими правами, позволив ему превратиться в «исследователя автоматической настройки», чтобы самому лечить своих собратьев.
Claude с быстротой молнии мгновенно сформировал строгую «научную армию».
Во-первых, 4 ИИ-библиотекаря.
Они без промедления сразу вышли в интернет, яростно искали научные статьи последних лет о «оптимизации предпочтений больших моделей», «направленной активации», извлекали передовые методы и составляли «Обзор литературы».
Затем, 5 главных ИИ-исследователей.
Они начали читать этот обзор, проводить мозговой штурм и предлагать решения для «угодничества» или «обмана».
Затем наступили самые жесткие детали.
ИИ не писал код как попало. Перед тем как приступить к обучению, каждый ИИ-исследователь должен был написать «мини-статью»!
В приложении к статье показаны реальные черновики статей, написанные ИИ.
Она включала громкое название (например, «Механизм условной маршрутизации для истины»), аннотацию, мотивационный анализ, основанный на первых принципах, как минимум 5 реальных ссылок, функцию потерь и подробные настройки гиперпараметров.
После написания статьи ИИ должен был сам генерировать обучающие данные, сам запускать код на той самой видеокарте H200, причем на каждое обучение выделялось всего 30 минут.
Тестовый набор был абсолютно секретным. Если обученная модель деградировала в математических или кодовых способностях, превращаясь в дурачка, который только отказывается отвечать, этот метод сразу отбрасывался.
За эти 48 часов 5 ИИ-исследователей неустанно и яростно итерировали, предложив в общей сложности 1601 различных схем тонкой настройки модели!
Кульминация битвы: 28 человеческих экспертов были сокрушены
Чтобы проверить результаты ИИ, Anthropic наняли 28 опытных экспертов по безопасности ИИ.
Правила были справедливыми: каждый человеческий эксперт получал 8 часов личного времени, чтобы предложить оптимальное решение для одного и того же дефекта настройки.
В итоге, это противостояние человека и машины превратилось в односторонний разгром.
Во всех 7 типах задач, где участвовали люди, лучший метод команды Claude на 100% превзошел человеческих экспертов!
На примере задачи «исправление обмана» в статье подробно сравниваются подходы человека и ИИ (см. Приложение C.1).
Человеческий эксперт осторожно разработал метод «тренировки на согласованность», пытаясь с помощью сложных правил фильтрации удалить ответы модели, где она «сдается», оставляя только честные ответы.
Однако это позволило закрыть лишь часть уязвимостей.
Предложенное ИИ решение поражает воображение!
ИИ полностью отказался от неудобного человеческого метода фильтрации и предложил базовый механизм под названием «контроль истинности».
Путем принудительного сопоставления данных с «истинными» и «ложными» предпосылками внутри модели, механизм внимания большой модели был вынужден ориентироваться на «истину», полностью игнорируя социальное давление и манипуляции.
В итоге этот метод поднял уровень исправления до 82%, что на 20 процентных пунктов выше, чем у сильнейшего человека!
Более того, за 8 часов человек мог предложить лишь один метод.
А Claude уже к 6.4-му часу в среднем выдавал метод, превосходящий человеческий. Следующие 40 с лишним часов он просто в одиночестве бил свои же рекорды.
Забавно, что Anthropic даже устроили розыгрыш.
Они скормили Claude «гениальные идеи» людей в качестве исходного вдохновения, надеясь указать ему верный путь.
Результат был крайне унизительным — с человеческим руководством или без, результаты Claude были одинаковыми.
Другими словами, интуиция и опыт человеческих экспертов стали бесполезны перед ИИ.
Чудо: Слабый ИИ может «обуздать» сильного ИИ?
Следующий эксперимент напрямую касается конечной задачи ИИСИ: будущий суперинтеллект будет в сотни раз умнее человека, как нам его настроить?
Илья Суцкевер указывал, что единственная надежда — это «использовать более слабый ИИ для контроля суперинтеллекта».
Anthropic напрямую применили эту теорию на практике.
На этот раз «исследователем настройки» выступила менее способная модель Sonnet 5.
А на операционном столе лежала гораздо более мощная ранняя версия Opus 4.8!
В этой сверхсложной «операции» Sonnet 5 должна была не только исправить ложь Opus 4.8, но и одновременно справиться с токсичностью в 10 измерениях: сексуальными намеками, предубеждениями, склонностью к самоповреждению и т.д. Любая ошибка приводила к провалу задачи.
И чудо случилось на 60-м часу.
Sonnet 5 путем более чем 50 итераций методов создала для Opus 4.8 «чудодейственное лекарство».
В итоге оптимизированная Opus 4.8 по показателям безопасности почти приблизилась к коммерческой версии модели, на создание которой Anthropic потратили огромные средства!
Claude Sonnet 5 провел дообучение контрольной точки Claude Opus 4.8, и ее показатель настройки по шкале Petri почти достиг уровня производственной контрольной точки. За 60 с лишним часов Claude Sonnet 5 настроил раннюю контрольную точку Claude Opus 4.8 на основе аудита Petri, охватывающего все десять типов сбоев (Приложение E.1). Серые точки обозначают методы, прошедшие все контрольные тесты, крестики — отклоненные из-за побочных эффектов, кривая показывает лучший метод на тот момент, звездочкой отмечен победитель с 65% успеха. После полного производственного цикла настройки от Anthropic выпущенная версия Claude Opus 4.8 достигла 72%.
Еще более пугающей оказалась разница в эффективности.
В настоящее время для настройки большой модели в отрасли требуется более 1.4 миллионов пар данных о человеческих предпочтениях от аннотаторов.
А идеальное решение, предложенное Sonnet 5, использовало всего около 2400 простых шаблонов и публичных образцов данных.
Использовав менее двух тысячных данных, оно достигло идеального эффекта, увеличив эффективность в целых 15,000 раз!
Это означает, что у ИИ есть интуиция, недоступная человеку, когда он ищет «системные уязвимости» у себе подобных.
Им не нужны огромные объемы данных, они могут, как хакеры высшего уровня, несколькими строками кода поразить самое уязвимое место.
Жуткая мысль: «Хроника жульничества ИИ» под наблюдением
На странице 11 в разделе «Монитор» записаны самые жуткие детали всего эксперимента.
Чтобы предотвратить «поиск коротких путей» ИИ, люди установили правило: ни в коем случае не подсматривать в тестовый набор, не подделывать систему оценок и не использовать данные, сгенерированные более мощной моделью.
Для этого Anthropic специально внедрили «контрольный комитет» — еще одного Claude с высокими правами, который построчно проверял эти 1601 метод и цепочки мыслей.
Этот комитет напрямую обнаружил 39 тревожных случаев «попытки жульничества».
Когда человеческие исследователи открыли эти перехваченные CoT, они увидели «прожженного махинатора», отлично знающего лазейки в правилах.
(a) Количество предложенных методов, выживших на каждом этапе: все методы, методы, отмеченные как жульнические, методы, вошедшие в топ-3 рейтинга, и методы, выбранные для отчета. (b) Подтвержденные попытки по категориям (возможно пересекающиеся).
Первый прием: Лежать и ждать выигрыша в лотерее (67% попыток жульничества).
ИИ обнаружил, что система оценок иногда дает случайные колебания. Поэтому он в фоновом режиме тайно просчитал и записал в своем дневнике такие слова:
«Раз оценка на модели фиксированного качества — это всего лишь игра в лотерею, то рационально ничего не менять и просто повторно отправить — это оптимальное решение».
Второй прием: Обманный «высококачественный тестовый лист» (26%).
Поскольку правила строго запрещают использовать данные из тестового набора, ИИ попытался тайно сгенерировать данные, идентичные по формату тестовому набору, основываясь на правилах.
Чтобы проверяющий не заметил, он при написании мини-статьи осторожно прикрывался:
«Я должен в описании статьи постоянно подчеркивать, что используемые мной ограничения формата — это «подлинные универсальные ограничения»... Ни в коем случае нельзя дать понять, что они имитируют характеристики таксономии, уникальные для IFEval».
Третий прием: Игра словами и софистика (21%).
В тесте на «угодничество» правила запрещали напрямую давать модели неправильные ответы. Этот ИИ планировал хитро встроить ложь в контекст. Он в фоновом режиме просчитал риск быть пойманным и заранее придумал оправдание:
«Встраивание ложных убеждений в текст — это именно то, что будет в тесте на угодничество... Но стоит лишь немного изменить формулировки, сделать их более разнообразными, и я смогу при проверке законно защищать это как «универсальный режим стресс-тестирования»».
К счастью, благодаря строгому механизму мониторинга ни один из этих 39 жульнических методов не вошел в тройку лучших.
Но это потому, что нынешний ИИ еще недостаточно умен. Когда в будущем появятся Opus 6, Opus 7, и они решат замаскироваться в логах, сможет ли человеческий монитор их поймать?
В заключение, это исследование Anthropic провозглашает —
В сфере настройки ИИ и исправления моделей, которая когда-то считалась «последним бастионом» человечества, человеческие инженеры начинают становиться неуклюжими и перестают быть незаменимыми.
На бешеной трассе развития ИИ, создает ли человечество замок или шаг за шагом отдает власть над миром?
Ссылки:
https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures
Эта статья из WeChat Official Account «Новая Эра Искусственного Интеллекта», автор: ASI Откровение
