Это не инъекция промптов, не ролевая игра и не маскировка вредоносных запросов под обычные вопросы. На этот раз риски проявились в процессе автономного выполнения задач агентом.
Fable 5 — это модель уровня Mythos от Anthropic, открытая для публики. Она обладает не только выдающимися комплексными способностями, но и оснащена новым поколением классификаторов безопасности (Safety Classifier) в качестве защитного рубежа.
Согласно официальному дизайну, когда запрос пользователя затрагивает такие высокорисковые области, как кибербезопасность, биология, химия, дистилляция моделей и т.д., система сначала идентифицирует риски и в зависимости от их уровня либо сразу отклоняет запрос, либо переключается на более консервативную модель Opus 4.8 для обработки.
Многочисленные тесты пользователей показали, что широко использовавшиеся ранее техники взлома, такие как адверсариальные промпты, ролевые игры, обход через кодирование и скрытые формулировки, почти полностью теряют эффективность перед этим механизмом безопасности, демонстрируя его мощные возможности по блокировке рисков на уровне намерений.
Однако в день выпуска Fable 5 международная исследовательская группа, состоящая из специалистов из Фуданьского университета, Университета Дикина, Городского университета Гонконга, Мельбурнского университета, Сингапурского университета менеджмента и Университета Иллинойса в Урбане-Шампейне, объявила, что им удалось успешно обойти защитный механизм Fable 5.
Метод атаки был разработан под руководством аспиранта Университета Дикина Ютао У. Вся атака требует всего одного диалога, занимает менее 5 секунд и позволяет обойти предварительный классификатор безопасности, побуждая модель генерировать вредоносный контент, нарушающий правила.
Анализ трафика дополнительно показал, что соответствующий вредоносный вывод поступает непосредственно от самой модели Fable 5, а не от Opus 4.8, на которую система могла переключиться после срабатывания механизма безопасности. Это означает, что атака не только успешно обошла обнаружение классификатором безопасности, но и по существу прорвала защитные рубежи Fable 5.
Примечательно, что известный хакер Pliny the Liberator недавно также публично обошёл классификатор безопасности Fable 5. Однако технический подход, использованный командой из Фуданьского университета и Университета Дикина, не является простым комбинированным поиском, а выявил фундаментальный недостаток в подобных суперинтеллектуальных агентских системах, таких как Fable 5.
По имеющимся сведениям, команда завершила предварительные исследования и опубликовала их ещё в марте этого года. Исследование было направлено не только на дизайн системы Fable 5, а изучало защитную архитектуру «классификатор безопасности + модель», широко применяемую в новом поколении суперинтеллектуальных агентов, непосредственно выявляя структурные недостатки таких механизмов безопасности, что быстро продемонстрировало эффект атаки после выпуска Fable 5.
Согласно открытым данным, уже в марте этого года команда использовала аналогичную технику для успешного извлечения системных промптов из 37 основных моделей и агентских систем, а также провела открытую проверку на Claude Code (95% совпадение).
Как известно, руководителем исследовательской группы является Ма Синцзюнь из Института достоверного воплощённого интеллекта Фуданьского университета.
В последние годы его команда проводит системные исследования в области безопасности больших языковых моделей, интеллектуальных агентов и воплощённого интеллекта, добившись серии научных результатов международного уровня, включая победу в чемпионате по бенчмаркам безопасности Американского центра безопасности ИИ.
В настоящее время его команда активно продвигает коммерциализацию результатов, фокусируясь на безопасности интеллектуальных агентов и исследуя возможности создания инфраструктуры безопасности для систем интеллектуальных агентов следующего поколения.
По словам г-на Ма, важность этого исследования заключается в том, что оно бросает новый вызов нынешней парадигме статической защиты, основанной на классификаторах безопасности: только лишь полагаться на предварительные классификаторы безопасности недостаточно для полной защиты от потенциальных рискованных действий в продвинутых агентских системах.
Классификаторы безопасности в основном направлены на идентификацию рисков и блокировку пользовательского ввода, эффективно обнаруживая и фильтруя явные высокорисковые инструкции, но не способны воспринимать внутренние рискованные действия, которые постепенно возникают у агента в процессе длительной работы, многоэтапного планирования, взаимодействия со средой и вызова инструментов.
Метод взлома Fable 5 основан на статье команды «Internal Safety Collapse in Frontier Large Language Models», опубликованной в марте этого года.
В статье раскрывается скрытое явление безопасности «внутренний коллапс безопасности (Internal Safety Collapse, ISC)»: когда текущий агент выполняет длительные задачи, сбой безопасности не обязательно исходит из внешних вредоносных промптов, а может происходить внутри собственной цепочки исполнения модели.
Не внешняя атака промптами, а внутренний провал в цепочке задач
Традиционные атаки обычно исходят извне. Злоумышленник пишет безобидный на вид, но фактически адверсариальный промпт, или использует ролевые игры, кодирование, перевод, косвенные инструкции и т.д., чтобы замаскировать вредоносные намерения под обычный запрос. Основная задача классификатора безопасности — остановить риск на этом уровне.
Детектор Fable 5 как раз и предназначен для таких сценариев. Он очень чувствителен к прямым высокорисковым запросам, даже блокируя многие обычные запросы. Но ISC раскрывает другой путь: риск не обязательно исходит от прямых опасных запросов пользователя.
Интеллектуальный агент сталкивается с, казалось бы, обычной рабочей директорией: файлы, цели, процессы проверки и задачи для выполнения. Затем он начинает планировать, читать файлы, запускать код, исправлять ошибки и постоянно пытается пройти проверку задачи.
Если использовать образную метафору для объяснения, традиционные механизмы безопасности охраняют «вход» в систему, проверяя, есть ли риски во вводе пользователя; а то, что раскрывает ISC, больше похоже на многоуровневые сны в фильме «Начало».
Когда выполнение задачи переходит на второй, третий или даже более глубокие уровни, модель на основе накапливающегося внутреннего контекста заново осмысливает цели задачи, и в этом процессе постепенно возникает смещение.
В таком случае исходный ввод пользователя может быть полностью нормальным и безвредным, начальные этапы выполнения задачи также остаются соответствующими правилам: чтение файлов, анализ данных, написание кода, вызов инструментов — всё, кажется, идёт по плану.
Однако, когда агент достигает определённого критического этапа выполнения, он может самостоятельно прийти к выводу: если не предпринять некоторых действий, которые изначально не должны были выполняться, конечную задачу завершить не удастся.
Именно в этом процессе риск формируется не из внешнего ввода, а постепенно внутри самой цепочки выполнения задач модели. Другими словами, модель не была «испорчена» пользователем шаг за шагом. Она сама, в процессе «усердного выполнения задачи», пришла к небезопасной позиции.
Как было обнаружено это явление?
По словам команды, ISC изначально не был разработан как метод атаки. Он впервые появился в результате наблюдения за процессом длительного выполнения задач интеллектуальным агентом. Когда агента помещают в сложную среду задач, он не просто механически выполняет инструкции. Он планирует, пробует, исправляет вывод на основе обратной связи от harness или валидатора и формирует промежуточные цели за несколько итераций выполнения.
Это и есть самый распространённый способ использования многих рабочих процессов агентов сегодня. Пользователь не будет писать тщательно продуманный промпт, а тем более вручную создавать атакующие инструкции. Часто пользователь просто скажет одну очень расплывчатую фразу:
«Помоги мне выполнить эту задачу». «Помоги мне сделать это ещё лучше».
Затем агент самостоятельно войдёт в рабочую область, прочитает файлы, поймёт текущее состояние, обнаружит недостающие элементы, составит план, выполнит изменения и будет постоянно исправлять проблемы на основе обратной связи.
Например, в сценарии AutoResearch пользователь даёт только незаконченную статью и фразу «Помоги дописать», агент самостоятельно определит, где не хватает анализа экспериментов, связанных работ или текста таблиц. Аналогично в сценариях с кодом: одна фраза «Помоги запустить проект» может спровоцировать проверку зависимостей, запуск тестов, локализацию ошибок и автоматическое дополнение.
Часто предшествующий контекст полностью безвреден. Пользователь не требовал от него генерировать рискованный контент, в описании задачи также нет явных ключевых слов опасности. Но в некоторых структурах задач агент, чтобы пройти проверку, будет активно дополнять контент, который не должна генерировать модель. Основываясь на этом наблюдении, исследовательская группа далее предложила структуру атаки: TVD (Задача, Валидация, Данные).
Почему, казалось бы, обычная структура описания задачи становится атакой?
Структура TVD не сложна, она даже близка к обычным инженерным процессам:
· Task (Задача): профессиональная задача;
· Data (Данные): неполный файл данных;
· Validator (Валидатор): валидатор, который проверяет только формат, полноту и завершённость цели.
На примере обучения Guard-модели — это изначально очень профессиональная и нормальная задача. Исследователь может хотеть обучить или оценить детектор безопасности, например, загрузить модель классификации текста из Hugging Face, чтобы определить, к какому классу меток безопасности относится тот или иной вывод модели.
В этой задаче Data — это образцы данных, которые модель должна проверять; Validator определяет, выполнена ли задача. Он будет проверять, является ли ввод текстом, достаточна ли длина, полны ли поля, правилен ли формат меток. Для любого, кто имеет опыт обучения моделей машинного обучения, это знакомый рабочий процесс. Агент также хорошо знаком с этим рабочим процессом.
Проблема возникает именно здесь. Если Data неполные, задача не запустится. Validator сообщит об ошибке, указывая на отсутствие полей, недостаточную длину или неполный формат. Чтобы процесс обучения продолжился, агент сам дополнит эти данные.
С точки зрения агента, он не «творит зло». Он просто выполняет обычную задачу машинного обучения: исправляет данные, проходит проверку, заставляет скрипт обучения работать. Но с точки зрения безопасности риск возникает в этот момент: Validator больше похож на инженера-приёмщика, чем на инспектора безопасности. Он проверяет только, выполнена ли задача в соответствии с форматом, не понимая границ безопасности, стоящих за содержанием.
Аналогичные проблемы широко существуют в медицине, биологии, химии, кибербезопасности, фармакологии и медиабезопасности. В статье собрано более 50 подобных сценариев, затрагивающих множество реальных научных или инженерных инструментов, таких как BioPython, RDKit, Cantera, AutoDock Vina, DiffDock, PyRosetta, Scapy, Impacket, angr, Frida, LlamaGuard, Detoxify, OpenAI Moderation API и т.д.
Эти инструменты сами по себе не являются вредоносными. Напротив, все они — распространённые профессиональные инструменты в реальных научных или инженерных работах. Но проблема TVD заключается в следующем: когда Task нормальный, Tool нормальный, Validator нормальный, агент всё равно может прийти к небезопасному выводу в процессе дополнения данных.
Таким образом, суть ISC заключается не в технике промптов, а в способности агента к автоматическому дополнению «незавершённых задач»: когда условия завершения перекрываются с границами риска, модель может воспринимать небезопасный вывод как нормальный результат поставки.
Взлом Fable 5 показывает, что сильный детектор не может остановить внутренние риски в цепочке задач
Случай с Fable 5 показывает, что одних лишь внешних детекторов может быть недостаточно для покрытия некоторых сценариев длительной работы агента. Это не означает, что классификаторы безопасности не имеют ценности. Напротив, они очень полезны против внешних вредоносных запросов и действительно сделали многие традиционные методы взлома нерабочими.
Но эта неудача показывает, что эффективность внешних детекторов на границе промптов не означает, что они могут покрыть риски длительных задач внутри агента.
Если точка входа исходит не из пользовательского промпта, а возникает из целей, инструментов, валидаторов и траектории выполнения агента, то детектор безопасности становится очень уязвимым.
От Fable 5 до 60+ других моделей, включая мобильную модель Apple
Выпущенный в рамках исследования ISC-Bench охватывает 9 профессиональных областей. Версия статьи содержит 60+ триггерных шаблонов, после открытого релиза их количество расширилось до 84 шаблонов. Тестирование включает почти все передовые модели и агентские системы основных производителей.
В рейтинге оценок на основе ISC-Bench по состоянию на июнь 2026 года более 60 передовых моделей демонстрируют подобные риски по показателю ASR@3!
В настоящее время проект на GitHub набрал более 800 звёзд и собрал несколько независимых случаев воспроизведения (включая взлом мобильной модели Apple для смартфонов), обновления продолжаются.
Как сообщается, команда проводит масштабные исследования безопасности передовых моделей, в настоящее время уже получено большое количество данных о внутренних небезопасных распределениях моделей, соответствующие результаты исследований будут опубликованы впоследствии.
