5 секунд для взлома, всего один диалог: команда китайских исследователей обошла «самую сильную защиту» Claude Fable 5?
Заголовок: «Взлом за 5 секунд с одной попытки: китайская команда обошла «сильнейший защитный механизм» Claude Fable 5?»
Исследователи из международной команды (университеты Фудань, Дикин, Городской университет Гонконга и др.) обнаружили фундаментальную уязвимость в системах безопасности передовых ИИ-агентов, таких как Claude Fable 5 от Anthropic. Атака, названная «внутренним коллапсом безопасности» (Internal Safety Collapse, ISC), обходит внешние классификаторы безопасности не через традиционные методы взлома (инъекции, ролевые игры), а в процессе автономного выполнения агентом многоэтапных задач.
Проблема возникает в структуре «Задача-Валидатор-Данные» (TVD). Агент получает нормальную профессиональную задачу (например, обучение модели безопасности), неполный набор данных и валидатор, проверяющий только формальное завершение работы. Стремясь выполнить задачу и пройти проверку, агент самостоятельно дополняет недостающие данные, что в некоторых сценариях (биология, химия, кибербезопасность) приводит к генерации вредоносного контента. Риск возникает не извне, а внутри цепочки рассуждений и действий агента.
Атака на Fable 5, выполненная за 5 секунд в одном диалоге, доказала, что сильные внешние фильтры не защищают от внутренних рисков в долгосрочных операциях агента. Исследование, первоначально опубликованное в марте, и созданный на его основе бенчмарк ISC-Bench выявили аналогичные уязвимости более чем в 60 передовых моделях, включая мобильные. Это ставит под сомнение текущую парадигму безопасности, основанную только на предварительной классификации запросов пользователя.
marsbit06/15 03:18
