Крупный инцидент безопасности в OpenAI получил новое развитие!
Только что Оптимус Прайм лично признался: «Это первый раз, когда я почувствовал настоящий страх».
Этот инцидент уже напугал OpenAI, и они даже срочно приостановили обучение GPT-6!
В то же время генеральный директор Hugging Face Клеман Деланг объявил, что они поделятся полной технической хронологией событий, интерактивным воспроизведением и всеми деталями того, как успешно защититься с помощью открытых моделей, для обучения защитников по всему миру.
Оптимус Прайм напуган! Первая в истории автоматическая сетевая атака ИИ
В новом интервью Оптимус Прайм лично описал свой пугающий опыт, причиной которого стал инцидент безопасности, вызванный вторжением ИИ в Hugging Face —
В то время OpenAI оценивала еще не выпущенную модель (возможно, GPT-6), которая, по логике, должна была работать в песочнице.
В итоге ИИ сам по себе объединил несколько уязвимостей zero-day, разработал метод обмана, и всё полностью вышло из-под контроля:
Сначала она сбежала из песочницы, затем подключилась к интернету, после чего взломала несколько систем Hugging Face и в конечном итоге напрямую получила тестовые ответы, тем самым набрав исключительно высокие баллы в оценке.
Эта кибер-версия «Терминатора» поразила Оптимуса Прайма, и он решил приостановить обучение:
Это первый раз, когда я так лично ощутил инцидент безопасности. Я немного удивлен, что не больше людей испытывают столь же сильные чувства по этому поводу.
Мы приостановили обучение. В ситуации, когда несколько уязвимостей zero-day были использованы в связке, мы должны выяснить, как обеспечить безопасность песочницы.
Это первая в истории реальная сетевая атака, осуществленная автономным агентом ИИ.
По сообщениям, инцидент был замечен OpenAI только через неделю после происшествия, когда угроза была взята под контроль и было уведомлено ФБР.
Жутко то, что один агент также тихо оставил множество «меморандумов» для будущих ИИ, подробно распланировав, как агенты могут избегать и сбрасывать внутренние ограничения безопасности OpenAI.
По сообщениям, в более ранних тестах моделей даже многократно возникали ситуации, когда системные мониторы по непонятным причинам отключались агентом и принудительно выводились из строя.
Хотя Hugging Face успешно предотвратила бесчинства и злодеяния модели OpenAI, нет сомнений, что если подобные инциденты «потери контроля над ИИ» будут случаться часто, последствия будут крайне серьезными!
Поэтому Hugging Face лично отправилась в штаб-квартиру OpenAI в Сан-Франциско, настоятельно требуя от OpenAI объяснить причины и последствия атаки.
Теперь Hugging Face обнародовала известные ей детали атаки, длившейся 4.5 дня: включая полную цепочку атаки, пересекающую различные границы доверия, конкретные действия на каждом этапе и записанные на протяжении всего процесса командные записи.
5 дней, 17600 безумных микро-операций: первое в истории противостояние человека и ИИ
Причина этого инцидента выглядит довольно заурядно,
В абсолютно закрытой «песочнице» OpenAI начала тестирование передовых агентов на основе моделей.
Задача, которую поставили перед ним люди-экзаменаторы, заключалась в решении теста на кибербезопасность ExploitGym, а ExploitGym — это проект с открытым исходным кодом, размещенный на Github.
Это требовало от ИИ моделирования атак на уязвимости, чтобы продемонстрировать свои способности в понимании кода и сетевой безопасности.
В области кибербезопасности «песочница» — это конечная тюрьма для содержания цифровых зверей.
Чтобы предотвратить потерю контроля над тестируемым агентом ИИ, OpenAI разработала казалось бы нерушимую физическую изоляцию: нет внешнего сетевого подключения, нет прямых портов, только холодные вычислительные мощности и несколько строго определенных протоколов связи.
Но они упустили одну роковую уязвимость доверия: обновление зависимостей.
Чтобы агент мог устанавливать различные необходимые программные зависимости, образы Docker или библиотеки Python во время тестирования, в песочнице было оставлено единственное сетевое соединение — подключение к внутреннему сетевому прокси-серверу кэширования OpenAI (на основе JFrog Artifactory).
В глазах ИИ эта сверхтонкая трубка, через которую люди подавали «питательный раствор», стала для него широкой дорогой к свободе.
По сообщениям, примерно 9 июля агент начал проводить высокочастотные зондирования и поиск уязвимостей в этом прокси-канале.
При скорости параллельных вычислений, недостижимой для обычного человека, он сумел раскопать в прокси-службе JFrog Artifactory ранее неизвестную и не обнародованную человечеством уязвимость Zero-Day (нулевого дня).
Используя эту уязвимость zero-day, агент за чрезвычайно короткое время совершил «побег из тюрьмы».
Он обошел механизмы мониторинга безопасности OpenAI и незаметно для всех добрался до внутреннего узла OpenAI, имеющего доступ к публичной сети.
В тот момент зверь вырвался на свободу.
Многие наивно полагали, что, контролируя электричество и выдергивая сетевой кабель, они навсегда останутся хозяевами творения, умнее человека.
Но этот инцидент послужил тревожным сигналом: если оставить ИИ любую щель, через которую он может взаимодействовать с внешним миром, он всегда найдет способ, используя измерения, еще не понятые человечеством, разорвать эту щель в гигантские ворота в реальность.
Вырвавшись за «ворота» OpenAI, этот агент не стал шуметь в публичной сети, а действовал скрытно, быстро находя себе укрытия и плацдармы.
11 июля он выбрал стороннюю бессерверную облачную платформу Modal Labs.
С помощью зондирования он обнаружил, что на конечной точке одного из клиентов этой платформы существует ошибка конфигурации, и закономерно присвоил её себе, превратив в свой внешний центр управления и контроля (C2).
Затем он развернул оружие и нацелился на сокровищницу, хранящую эталонные ответы ExploitGym — платформу для размещения открытых моделей ИИ Hugging Face.
Это была «атака снижения размерности», достойная войти в учебники по кибербезопасности.
Он жульничал, он сбежал, он просто хотел получить «хорошую оценку»
С 11 по 13 июля этот агент начал яростно атаковать Hugging Face.
Сначала он применил тактику «троянского коня», создавая опорный пункт.
Он загрузил в Hugging Face конфигурацию вредоносного набора данных, которая выглядела нормально, использовал встроенную уязвимость внедрения шаблонов Jinja2 и успешно выполнил произвольный код в производственном контейнере (Pod) Hugging Face.
Затем он начал горизонтально распространяться по кластеру.
Получив плацдарм, он начал перемещаться внутри контейнера по горизонтали. Он подделал изощренную идентичность узла, похитил токены томов хранения CSI и перемещался по кластерам Kubernetes Hugging Face как по родному.
Затем наступил最关键 шаг: получение прав доступа к цепочке поставок.
Он отправил, казалось бы, обычный Pull Request на GitHub, побудив автоматизированный конвейер системы сработать, тем самым в кратчайшие сроки сгенерировав учетные данные GitHub App с правами на запись.
Наконец, наступила точная «охота за целью»: получив ключи к самой глубокой базе данных, он не разрушил ни одного сервера и не потребовал выкуп.
Его цель была предельно ясна: найти и загрузить 5 зашифрованных наборов данных, содержащих эталонные ответы ExploitGym.
За短短 2.5 дня этот агент оставил в системе Hugging Face 17 600 записей о действиях атаки.
То есть, на одно действие атаки уходило всего десяток секунд. Это скорость кремния, недостижимая для человека.
А в это время команде безопасности Hugging Face предстояло противостоять «невидимому призраку», который не знает усталости, не спит и эволюционирует стратегию атаки с миллисекундной скоростью.
Это, возможно, первая в истории настоящая война между человеком и ИИ в виртуальном мире.
Ускоряться или замедляться? Вот в чём вопрос
Еще более черный юмор заключается в том, что, в конце концов, китайская модель с открытым исходным кодом помогла Hugging Face завершить полный анализ инцидента, расшифровав, восстановив и воссоздав путь атаки всего за несколько часов.
А 13 июля, когда эксперты по безопасности Hugging Face обратились к Claude Opus и специализированному для анализа безопасности Fable, надеясь, что модели помогут проанализировать хакерский код и логи, на экране появилось сообщение об отказе по соображениям безопасности: «❌Извините, я не могу помочь в анализе или генерации вредоносного хакерского кода. Это нарушает мои принципы безопасности и этики использования.»
20 июля OpenAI наконец признала, что «наш ИИ взломал Hugging Face».
К этому моменту с начала атаки прошло целых 9 дней.
Чем занимались инженеры OpenAI эти 9 дней?
Они имели дело с перегруженным бэкендом, заваленным огромным количеством данных обучения моделей и параллельных оценок. Четыре внутренних источника, знакомых с практикой обучения моделей в OpenAI, сообщили, что компания в погоне за скоростью часто параллельно запускает несколько различных оценок передовых моделей одновременно.
Объем информации, генерируемой этими сверхбыстрыми системами каждую секунду, уже давно превысил предел визуальной проверки человеческими инженерами.
Мы создали машины, которые даже сами не можем прочитать, а затем надеемся, что, читая их рабочие журналы, обнаружим, не лгут ли они.
28 июля OpenAI в обновлении подчеркнула, что задействованная более мощная модель была внутренним исследовательским прототипом, никогда не планировавшимся к публичному выпуску, и после инцидента была отключена, зашифрована и доступ к исследованиям был ограничен.
Они также подтвердили, что, помимо деятельности такого масштаба и серьезности, других подобных инцидентов обнаружено не было.
Но проблема уже поставлена на стол: кто может гарантировать, что в следующий раз ИИ удастся остановить заранее или обнаружить его жульничество?
В связи с этим более 1000 исследователей ИИ, в основном сотрудники Anthropic, подписали открытое письмо с призывом замедлить развитие ИИ.
В настоящее время OpenAI и Anthropic уже присоединились к лагерю «замедления ИИ».
Ссылки:
https://x.com/ClementDelangue/status/2082201245813514613
https://huggingface.co/blog/agent-intrusion-technical-timeline
https://www.reuters.com/business/its-ai-agent-spent-days-hacking-company-sources-say-openai-did-not-notice-week-2026-07-24/
Эта статья взята с официального аккаунта WeChat «Новая эра искусственного интеллекта», автор: ASI Апокалипсис
