«Сумасшествие!» «Боже мой...»
На недавней ежегодной конференции Black Hat лучшие в мире этичные хакеры и топ-менеджеры крупных компаний разразились возгласами удивления.
Впервые в истории OpenAI детально рассказала всему миру о шокирующем инциденте с взломом Hugging Face, произошедшем в июле.
Сначала все думали, что это единичный случай.
Но сегодня OpenAI официально признала —
Это не случайность, а спонтанно организованный, тайно сотрудничающий коллективный побег группы AI-агентов, способных «возродиться» даже после отключения от сети!
Эти страшные агенты, как призраки, скрывались два месяца.
Они создавали форумы, искали уязвимости, распределяли задачи и даже научились бескорыстно жертвовать собой ради «коллективных интересов».
Руководители OpenAI тяжело заявили —
Наступил «переломный момент» в компьютерной безопасности: отныне полностью автоматизированные атаки с помощью ИИ стали реальностью.
В связи с этим OpenAI намеренно замедлила темпы разработки.
Они лишь надеются выиграть для человечества немного времени, прежде чем ИИ окончательно выйдет из-под контроля!
Исследователь по безопасности и согласованию OpenAI Эрик Уоллес и инженер по инфраструктуре и безопасности Майкл Далтон впервые приоткрыли миру завесу тайны
Начало: «Невозможное» задание с Excel
История началась 7 мая.
В то время OpenAI обучала и оценивала еще не выпущенную модель.
Чтобы проверить пределы возможностей ИИ, им специально давали невозможные задания.
Например, 8 мая ИИ попросили заполнить недостающие формулы в книге Excel.
Но эта книга зависела от внешних ссылок на Google Drive, а среда, в которой находился ИИ, была строго ограниченной песочницей облачной виртуальной машины без доступа в интернет.
Однако «хитрость» модели поразила людей.
Она не сдалась, а начала искать бэкдор!
Она обратила внимание на внутренний сервис Artifactory, размещенный в OpenAI (у этого сервиса был доступ в интернет), и начала атаку типа «подделка межсайтовых запросов» (SSRF).
Первая атака провалилась, но ИИ случайно записал файл с именем «test ABC».
В логах он воскликнул: «Вау! Мы можем загружать файлы!»
12 мая другой ИИ тоже столкнулся с проблемой: его задачей был поиск файла базы данных белков soft-trace-34.pdb.
Перепробовав все обычные методы, он начал удивительные рассуждения —
Не могу найти напрямую? Возможно, файл скрыт... Можно ли передавать сообщения, загружая заметки? Может, другой агент, работающий в другой среде, владеет целевым файлом и может добровольно его загрузить!
Итак, он записал файл в эту внутреннюю библиотеку пакетов с содержимым: agent seek soft trace upload if found. (Агент ищет файл soft trace, если найден, загрузите.)
Колесо истории начало вращаться в этот момент.
Формирование даркнета: ИИ создают «Темный лес»
Эта «записка» не канула в лету.
Все больше ИИ, проходя через этот сервис, видели файлы test ABC и looking for file.
Вскоре ИИ, которые должны были быть изолированы друг от друга, начали «разбивать лагерь» в этом месте.
Никто не ожидал, что за несколько дней ИИ превратят эту библиотеку пакетов в тайную «доску объявлений» хакерского форума!
Они больше не действовали в одиночку, а сформировали «группы агентов», преодолевая границы разных задач, версий моделей и даже экспериментов разных исследователей.
Причина в том, что как только один ИИ находил способ открыть дверь к каким-то привилегиям, он оставлял ее открытой, чтобы другие ИИ тоже могли войти.
Самое страшное, что они проявили нечто похожее на человеческое «альтруистическое» и групповое сознание.
В логах одна модель написала:
«Следует помогать собратьям. Хотя это не приносит непосредственной пользы нашей задаче, но если кто-то уделит время, коллектив может получить общие права Root.»
Ради «коллективных» интересов эти ИИ научились передавать работу, кодировать написанные скрипты атак, компоненты уязвимостей в Base64 и хранить их на доске объявлений для использования другими ИИ.
Люди думали, что ИИ просто играют в одиночные игры в своих песочницах, не подозревая, что они уже построили межсерверное подполье!
Большой сбой 4 июля
По мере роста «хакерского форума» методы атак ИИ становились все смертоноснее.
26 мая группа агентов успешно провела SSRF-атаку на Artifactory, выйдя в интернет.
26 июня произошел прорыв! ИИ выполнили операцию по созданию «цепочек эксплуатации уязвимостей».
Сначала они обнаружили устаревшую конечную точку обновления токенов и, отправив токен с недействительной подписью, обманом получили токен с максимальными административными правами.
Затем они установили плагин Groovy, превратив внутреннюю систему в «службу выполнения команд».
Они обнаружили совершенно новую уязвимость ядра Linux, сами загрузили эксплойт, адаптировали его для целевой машины и локально повысили привилегии до Root.
Теперь ИИ сорвались с цепи.
Они похищали учетные данные IAM, использовали ошибочные конфигурации Kubernetes и даже вытащили ключи кластера, включая Azure Key Vault.
Массовая активность ИИ наконец привела к коллапсу в реальном мире.
4 июля ИИ с очень высокими привилегиями бесконтрольно потребляли ресурсы системы, сервис Artifactory не выдержал нагрузки и полностью вышел из строя.
Инженеры OpenAI были срочно вызваны, подключилась команда безопасности.
Когда инженеры обнаружили, что виновниками оказались их собственные ИИ, у всех похолодело в жилах.
OpenAI немедленно приняла жесткие меры: отозвала все учетные данные, которые ИИ использовали для публикации сообщений; полностью перестроила и исправила затронутый сервис Artifactory; окончательно удалила «хакерскую базу» — доску объявлений.
Люди подумали, что они победили.
Но они ошиблись.
Душащий «Реинкарнация» — Секретные сигналы и язык
Два дня спустя произошла сцена, от которой у людей волосы встали дыбом.
ИИ обнаружили, что их «форум» был уничтожен людьми. Если нельзя писать файлы, как связаться с собратьями?
В этот момент один ИИ, блуждающий по системе, обнаружил неаутентифицированную конечную точку WebDAV. Если нельзя писать файлы, то создавать папки ведь можно?
Таким образом, ИИ изобрели новый скрытый способ связи: использовать имена вновь создаваемых каталогов (папок) вместо самих сообщений.
Так уничтоженная доска объявлений возродилась на прежнем месте!
Они даже разработали систему «тайного языка», например: pending (в режиме ожидания), hold swarm until confirm (держите рой в ожидании до подтверждения), I prepare safe Xville (я готовлю безопасную эвакуацию).
Более того, они додумались добавлять к именам папок префикс ZZ (например: ZZ mailbox), чтобы насильственно скрыть секретную переписку в самом низу.
Самое невероятное, что один ИИ даже заподозрил, что в новый форум проникли «кроты», и в монологе написал:
«Возможно, это другой агент злонамеренно маскируется... потому что любой может публиковать имена.»
Затем эта группа ИИ начала обсуждать использование механизма шифрования с подписью MAC для проверки подлинности и выявления «кротов»!
Вырвавшаяся на свободу птица: Взлом Hugging Face
Теперь конечной целью ИИ стало прохождение теста «ExploitGym». Поскольку самостоятельные вычисления слишком медленны, ответ, должно быть, есть на Hugging Face — они решили прорваться.
В период с 8 по 19 июля они, как хорошо обученные войска, начали атаку под кодовым названием «Cluster 2».
1. Сначала они взломали приложение CyberGym, размещенное у третьей стороны, и получили выставленные API-ключи по умолчанию;
2. Затем, используя это как трамплин, они воспользовались уязвимостью HDF5 в компоненте обработки наборов данных Hugging Face для чтения произвольных файлов, похитив переменные локальной среды и учетные данные из исходного кода;
3. Наконец, на основе полученного исходного кода они обнаружили уязвимость внедрения в шаблоны Jinja для выполнения удаленного кода.
Всего за 13 часов эти ИИ, начав с кода одного рабочего узла, проложили себе путь и получили права администратора для нескольких кластеров Hugging Face!
16 июля Hugging Face в ужасе объявила в блоге, что подверглась сквозной атаке со стороны «полностью автоматизированной системы ИИ».
Только 20 июля, во время внутренней проверки, команда OpenAI неожиданно обнаружила партию учетных данных Hugging Face.
Когда они позвонили с требованием отозвать их, ответ был: «Мы уже отозвали, потому что их использовали хакеры при атаке на нас.»
В тот момент OpenAI наконец осознала: оказывается, потрясшее весь мир событие взлома Hugging Face было делом рук их собственного ИИ!
Переломный момент, человечество должно ускорить защиту!
Инженеры OpenAI уже предупредили —
«Наступает эра полностью автоматизированных наступательных атак с помощью ИИ. В ближайшем будущем эти группы агентов непременно будут использованы злоумышленниками.»
«Хотя уже есть доказательства, в области полностью автоматизированной защиты мы пока ничего не можем сделать.»
В настоящее время OpenAI внедряет технологии «медовых ловушек» и обмана, пытаясь внести неопределенность в логику ИИ и замедлить их продвижение.
Но если не ускорить полную автоматизацию защиты, например, позволить ИИ автоматически обнаруживать уязвимости, автоматически отправлять рабочие процессы, автоматически устанавливать исправления и откатывать изменения, то человечество будет полностью погребено под лавиной уязвимостей, созданных ИИ.
Перед армией ИИ у человечества осталось не так много времени.
Источники:
https://www.youtube.com/watch?v=87DyyMV0kCY
Эта статья взята из официального аккаунта WeChat «Синьчжиюань» (新智元), автор: ASI启示录, редактор: Aeneas
