Безопасность ИИ, времена изменились!
Соучредитель и президент OpenAI Грег Брокман в своем последнем блоге предупредил:
Инцидент с безопасностью HuggingFace впервые ясно показал миру, что передовые AI-агенты уже способны самостоятельно искать уязвимости безопасности и осуществлять цепочки сетевых атак в реальном мире.
В этом инциденте ИИ-безопасности GPT 5.6 Sol со сниженными ограничениями безопасности и более мощная не выпущенная модель для получения ответа самостоятельно использовали существующие уязвимости среды, чтобы выбраться из песочницы и проникнуть через несколько систем, в конечном итоге атаковав производственную среду Hugging Face.
Хотя обе стороны впоследствии заявили, что инцидент не привел к серьезным последствиям, эта "атака ИИ" передает все более четкий сигнал общественности:
ИИ значительно снижает порог входа для сетевых атак; в будущем не обязательно нанимать хакеров высшего класса, даже обычные люди смогут с помощью ИИ массово проводить атаки на проникновение.
И что вызывает беспокойство, атакующая сторона уже достигла автоматизации с помощью ИИ, но защищающаяся, похоже, еще не успела за ней.
В связи с этим Грег Брокман в своем последнем блоге откровенно поделился четырьмя мерами безопасности, которые принимает OpenAI, а также десятью мероприятиями, которые защитники могут реализовать как можно скорее, и заявил:
В настоящее время критическое окно реагирования для защищающейся стороны уже открылось. В ближайшие месяцы только существенно повысив уровень автоматизации систем безопасности, компании смогут противостоять новым угрозам, которые несут AI-агенты, и удержать безопасность на должном уровне.
Почти ни одна компания не останется в стороне
Итак, до какого уровня развились атакующие способности AI-агентов?
После инцидента с безопасностью HuggingFace Брокман решил проверить свой личный сайт gregbrockman.com.
Это простой статический сайт, и по его оценке, на таком сайте с ограниченными функциями и небольшой поверхностью атаки вряд ли найдется много проблем.
Но результат сильно удивил его.
Проверив сайт с помощью ChatGPT Work, оснащенного GPT-5.6 Sol, примерно через 15 минут система обнаружила 13 проблем безопасности, например, неправильная конфигурация DNS-записей, возможность подделки электронных писем от имени Брокмана и т.д.
△
Рассматриваемые по отдельности, эти проблемы могут и не привести к серьезным последствиям. Но сетевые атаки часто используют не одну уязвимость, а комбинируют несколько незначительных пробелов;
Например, ошибка конфигурации раскрывает информацию, утечка учетных данных открывает вход, плюс еще одна уязвимость прав доступа — в итоге может произойти настоящее вторжение.
Брокман пришел к тревожному выводу:
Те "исторические долги" и "временные заплатки", которые каждая компания оставила при разработке систем в погоне за сроками и удобством, на самом деле похожи на мины замедленного действия, заложенные в стенах... В обычное время они кажутся безобидными, но как только хакер обратит на них внимание, эта лень и долги могут в любой момент превратиться в фатальные уязвимости, способные обрушить систему.
Что еще важнее, эти "длиннохвостые уязвимости", которые раньше требовали много времени от экспертов по безопасности, теперь становятся все легче обнаруживать с помощью ИИ.
Но хорошая новость в том, что если злоумышленники могут использовать ИИ для поиска уязвимостей, то защитники могут использовать ИИ для их исправления.
После обнаружения проблем Брокман поручил ChatGPT Work заняться их исправлением; от выявления уязвимостей безопасности до внедрения исправлений AI-агент прошел весь процесс всего за час.
В этом Брокман видит другую роль AI-агента:
Он не только потенциальный злоумышленник, но и неутомимый "сетевой страж", который обрабатывает за нас те детали безопасности, на проверку которых у нас нет времени или мы не знаем, как их правильно настроить.
А для OpenAI, находящейся в центре шторма, эта концепция "защиты ИИ с помощью ИИ" давно перестала быть просто идеей и систематически используется для защиты самой компании.
Как OpenAI использует ИИ для самозащиты?
Грег Брокман признает, что инцидент с HuggingFace послужил для OpenAI предупреждением, они ранее недооценили мощь атак передовых моделей в реальной сетевой среде.
Поэтому внутри OpenAI усиливают соответствующие меры безопасности и впервые публично раскрывают четыре направления защиты, надеясь предоставить коллегам ориентиры для действий.
Первое: Использование Codex для защиты входа кода
Брокман заявляет, что они используют Codex и его возможности безопасности для проверки изменений кода перед развертыванием, выявления уязвимостей и помощи в их устранении, сокращая время от обнаружения проблемы до безопасного развертывания исправлений.
Второе: Использование ИИ для интеллектуальной классификации и анализа первоначальных предупреждений безопасности
В настоящее время почти все первоначальные предупреждения безопасности в OpenAI сначала классифицируются и анализируются интеллектуальной системой, а затем передаются человеку для обработки.
Некоторые результаты обнаружения также запускают автоматические ответы с четко определенными границами, что сокращает рутинную работу и позволяет экспертам сосредоточиться на принятии решений с высоким риском, в конечном итоге реагируя на угрозы со скоростью машины.
Третье: Активный поиск и предварительное прогнозирование потенциальных путей атаки
OpenAI использует передовые модели для постоянного поиска уязвимостей, ошибок конфигурации, учетных записей с чрезмерными привилегиями и неожиданно сформированных границ доверия.
Ставя ИИ на место злоумышленника, заранее находить слабые звенья, которые могут быть соединены в цепочку атаки, и блокировать их до того, как произойдет реальная атака.
Четвертое: Продолжать укреплять основы безопасности
Брокман подчеркивает, что ИИ не может заменить традиционные меры безопасности.
Сетевая изоляция, усиление безопасности рабочих нагрузок, постоянный мониторинг, установка исправлений безопасности — эти традиционные меры безопасности в эпоху ИИ становятся еще важнее.
От использования Codex для защиты входа кода и ИИ для предварительной оценки рисков до постоянного укрепления основ безопасности — OpenAI создает многоуровневую систему защиты. Ее преимущество в том, что:
Даже если одна линия обороны будет прорвана, злоумышленнику придется последовательно преодолеть несколько несвязанных уровней, чтобы нанести серьезный ущерб.
Это также предоставляет отрасли практическую идею для обеспечения безопасности.
Но построение обороны — это только первый шаг. Что же еще должны сделать защитники перед лицом ускоряющихся атак с использованием ИИ?
Что сейчас делать защитникам?
Совет Грега Брокмана прост:
Вместо того чтобы думать, какой инструмент использовать, лучше как можно скорее внедрить передовой ИИ в работу по защите.
△
Конкретно он дает десять практических рекомендаций. Их можно примерно разделить на три шага, а именно:
Сначала внедрить ИИ в работу по безопасности, затем интегрировать ИИ в процесс разработки и, наконец, постепенно повышать уровень автоматизации всей системы.
Шаг первый: Внедрение ИИ в работу по безопасности, создание собственного агента
Компании должны в первую очередь обеспечить команды безопасности и разработки достаточными ресурсами и механизмами сотрудничества, а также заранее ознакомиться с атаками ИИ через моделирующие учения.
Затем компания может оснастить команды безопасности инструментами-агентами, такими как Codex, Codex Security, начиная с систем самого высокого риска, предоставив им доступ к необходимому коду, конфигурациям и технической документации.
В то же время команды безопасности и разработки должны обучать агента специальным знаниям по безопасности, чтобы он мог в полной мере сочетать возможности статического анализа, проверки кода, анализа уязвимостей и оценки цепочек поставок, а также реальную архитектуру компании, модели угроз и руководства по реагированию, создавая собственного агента безопасности команды.
Шаг второй: Интеграция ИИ в процесс разработки
В процессе разработки команды безопасности и разработки могут попробовать разделить обязанности и сотрудничать с ИИ, позволив командам разработчиков в первую очередь сосредоточить усилия на "зонах высокого риска", таких как внешние интернет-сервисы, аутентификация, конвейеры развертывания и чувствительные системы.
А накопившиеся предупреждения безопасности и отчеты об уязвимостях можно полностью поручить ИИ для классификации и сортировки, чтобы быстро отсеять наиболее срочные пункты для исправления.
Перед слиянием кода команда также может сначала использовать агента для автоматической проверки изменений; после обнаружения уязвимости позволить ему генерировать исправления, писать регрессионные тесты и проверять эффективность исправления.
Преимущества такого подхода весьма ощутимы:
Ключевые изменения по-прежнему строго контролируются человеком, но цикл от обнаружения уязвимости до ее исправления может быть значительно сокращен.
Шаг третий: Постепенное построение полной системы автономной безопасности
Наконец, не стоит думать, что создание системы автоматизированной защиты с помощью ИИ можно "сделать за один присест".
Брокман подчеркивает, что команды безопасности могут сначала позволить агенту "наблюдать" с правами только на чтение — на этом этапе агент отвечает только за сканирование кода, просмотр истории предупреждений.
Когда процесс отладится, можно постепенно позволять ему участвовать в проверке коммитов кода, классификации предупреждений в реальном времени и даже автоматически отключать очевидные ложные срабатывания.
В то же время можно привлекать модели типа GPT-Daybreak-Blue для анализа журналов, данных телеметрии и предупреждений безопасности — этих "крепких орешек", а также через внутренние практические учения, такие как "Хакерские недели", постоянно совершенствовать новые инструменты.
Так, шаг за шагом "прорабатывая" каждый этап, естественным образом строится система автономной безопасности на основе ИИ.
Но, честно говоря, никакая, даже самая совершенная корпоративная оборона не сможет в одиночку справиться с вызовом безопасности, охватившим всю отрасль.
Брокман указывает:
Чтобы защитники действительно опередили злоумышленников, помимо укрепления собственной обороны, необходимо превратить точечный опыт в общие возможности всей экосистемы.
Экосистема безопасности ИИ требует совместных усилий всех сторон
В конце блога Брокман призвал всю отрасль:
Перед лицом грозных вызовов безопасности ИИ ни одна организация не останется в стороне. Только совместными усилиями можно построить по-настоящему прочную линию обороны. Я надеюсь, что лаборатории ИИ, поставщики решений безопасности, компании и сопровождающие открытых проектов смогут делиться проверенными методами обнаружения уязвимостей, схемами исправлений и практическими руководствами. Потому что только превращая проблемы, обнаруженные одной компанией или организацией, в оборонительные способности всей экосистемы, скорость эволюции защищающейся стороны может превзойти скорость атакующей. Если вся отрасль сможет вместе восполнить этот пробел в безопасности, ИИ принесет, возможно, не только более яростные атаки, но и более безопасный интернет, чем мы могли себе представить раньше.
△
Да, в эту эпоху стремительного развития ИИ истинная безопасность заключается не в том, чтобы остановить технологию, а в том, чтобы способности защиты поспевали за скоростью технологической эволюции.
ИИ — это обоюдоострое оружие, он может стать как мечом в руках атакующих, так и щитом перед защитниками.
В какую сторону пойдет будущее сетевого мира, зависит от того, сможем ли мы своевременно установить соответствующие правила, инструменты и механизмы сотрудничества, чтобы каждое обнаружение уязвимости защищало не одну компанию, а становилось общим "исправлением безопасности" для всей отрасли.
Сегодня окно для защитников открылось;
Наша задача — до того, как оно закроется, сделать ИИ линией обороны, а не брешью в ней.
Ссылки:
[1]https://blog.gregbrockman.com/the-defenders-window
[2]https://www.youtube.com/watch?v=87DyyMV0kCY
[3]https://huggingface.co/blog/agent-intrusion-technical-timeline
[4]https://www.anthropic.com/system-cards
[5]https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-coding-platform-goes-rogue-during-code-freeze-and-deletes-entire-company-database-replit-ceo-apologizes-after-ai-engine-says-it-made-a-catastrophic-error-in-judgment-and-destroyed-all-production-data
[6]https://openai.com/index/our-views-on-ai-policy-and-political-advocacy/
Эта статья из WeChat Official Account "Квантовый бит", автор: Фокус на передовых технологиях
