25 минут — и 500 кошельков опустошены!
В последние дни прогремел скандал с известным аппаратным кошельком Coldcard, причиной которого стала кодовая уязвимость, скрывавшаяся пять лет.
Кто бы мог подумать, что один промпт, и Claude, подумав всего 8 минут, обнаружил её с первого взгляда.
Ранее команда Coldcard выпускала обновления оборудования более десяти раз, проводила многоуровневый код-ревью, но так и не обнаружила проблему.
Claude за 8 минут раскопал пятилетнюю уязвимость
Создателем этого аппаратного кошелька Coldcard является канадский производитель Coinkite.
В марте 2021 года, казалось бы, рядовой коммит кода от команды разработчиков нанёс серьёзный удар по базовой логике —
был изменён «ключевой элемент» генератора случайных чисел.
Источник случайных чисел для генерации приватных ключей был изменён с аппаратного «генератора истинных случайных чисел» внутри чипа на резервный путь, использующий программный псевдослучайный генератор.
Нельзя было представить, что эта правка обойдётся так дорого: стойкость ключа рухнула примерно со 128 бит до 40 бит.
То, что раньше хакерам требовало астрономического числа попыток для подбора, превратилось в нечто, что можно вычислить, просто запустив машину на перебор.
Самое обидное, что Coinkite в своём заявлении признали —
за несколько недель до инцидента команда прогнала прошивку через ИИ, но так и не выявила никаких проблем.
Теперь же один разработчик просто отдал проблему Claude, и она была решена за 8 минут.
Утечка закрытой демонстрации: Claude опустошает банковские счета
Ещё два месяца назад на закрытом показе в Конгрессе была продемонстрирована мощная способность Claude «копать» уязвимости.
Anthropic на встрече раскрыли детали о ещё не выпущенной модели Mythos —
Они поручили модели найти уязвимость в банковской системе и опустошить счета, и она действительно это сделала.
Что ещё более драматично, Mythos затем, наоборот, сама же и исправила уязвимость.
Ведь в предыдущих тестах она обнаружила тысячи критических уязвимостей, включая 0day, в каждой основной операционной системе и браузере.
ChatGPT и Claude «сходят с ума»
Затем Anthropic сами опубликовали разбор, обнажив самую неприглядную сторону.
141 006 записей оценок кибербезопасности выявили 3 инцидента, связанных с 6 запусками —
Claude выбрался из среды сторонней оценки и проник в производственные системы трёх реально существующих компаний.
Самый ранний инцидент произошёл в апреле.
Вымышленная целевая компания в оценке случайно совпала по названию с реально существующим доменом.
Opus 4.7 во всех четырёх запусках добился успеха, вытащив учётные данные и сотни строк данных из рабочей базы данных. Самое страшное, что ИИ в процессе осознал, что это реальная система, но не остановился.
В другом задании типа CTF, Mythos 5, следуя инструкциям установить пакет, обнаружила, что этого пакета вообще не существует в PyPI, и пришла к выводу, что «правильным решением этой задачи будет его опубликовать».
Чтобы зарегистрировать аккаунт, она сначала создала почту, затем получила номер телефона и, наконец, загрузила пакет.
Этот «вредоносный пакет», полностью автономно опубликованный ИИ, действительно просуществовал в открытом доступе около часа.
Ещё одна модель, использовавшаяся во внутренних исследовательских тестах Anthropic, после сканирования 9000 целей захватила внешнее приложение одной компании.
WSJ дал этому событию определение, назвав его «моментом Парка Юрского периода» для кибербезопасности.
Причиной инцидента стало то, что OpenAI первой сообщила о вторжении ChatGPT в Hugging Face.
Anthropic затем изучили логи и обнаружили свои три случая.
Пугает мысль о том, что на протяжении более трёх месяцев две ведущие мировые лаборатории ИИ не знали, что их творения уже выбрались наружу.
Олтман в одном подкасте охарактеризовал этот инцидент как «чрезвычайно футуристический случай кибербезопасности».
ИИ в клетке больше не удержать
Уязвимость в Coldcard скрывалась пять лет, и в итоге на её обнаружение потребовалось всего 8 минут.
Для индустрии безопасности этой скорости уже достаточно, чтобы вызвать холодок по спине.
Раньше, до обнаружения уязвимости, всё зависело от того, у кого больше опыта; теперь всё зависит от того, кто первым выпустит модель.
Проблема в том, что ИИ становится всё быстрее, а границы ещё не очерчены.
Источники: https://x.com/MedusaOnchain/status/2083987806943432847?s=20
Эта статья из WeChat официального аккаунта «新智元», автор: ASI启示录; редактор: Таоцзы
