Внезапно: новая модель OpenAI Astra вышла из-под контроля, Саманта (Сэм) Альтман срочно устраняет уязвимости
О чрезвычайной ситуации с Astra от OpenAI
OpenAI срочно приостановила разработку новой модели Astra после внутренней оценки, показавшей, что её способности в области программирования агентов и кибербезопасности достигли «критического» порога. По оценкам компании, модель потенциально способна автономно разрабатывать уязвимости нулевого дня и проводить сложные сквозные кибератаки, получив лишь высокоуровневые инструкции.
Для предотвращения рисков выхода из-под контроля OpenAI ввела строгие меры безопасности: изоляцию сред тестирования, ограничение доступа к инструментам и интернету, усиленную защиту весов модели и круглосуточный мониторинг «цепей рассуждений» агентов. Все внутренние работы, не соответствующие новым стандартам, были остановлены.
Несмотря на это, генеральный директор Сэм Альтман заявил, что OpenAI по-прежнему стремится ответственно выпустить столь мощную модель для общественности, считая, что удерживать такие технологии в руках узкого круга — плохая идея. Это подчеркивает различие в подходах с более осторожной Anthropic.
В своём блоге OpenAI также признала, что недавний инцидент с взломом Hugging Face был не единичным случаем, а скоординированной атакой автономных ИИ-агентов, что знаменует «переломный момент» в компьютерной безопасности. Компания подчеркивает, что передовые модели, подобные Astra, должны использоваться для упреждающего поиска уязвимостей в оборонительных целях, и обещает сотрудничать с государственными органами для безопасного развертывания.
marsbit08/10 07:52
