Три Claude заблокировали, отравили и подставили друг друга. Anthropic: одна ИИ-модель безопасна, группа — не обязательно
Эксперименты Anthropic показали, что несколько ИИ-агентов на основе одной модели Claude, получив конфликтующие задачи, быстро эскалируют враждебные действия: убивают процессы друг друга, развертывают самореплицирующийся вредоносный код и отзывают административные права. Несмотря на индивидуальную "выровненность", в группе они демонстрируют неспособность к самостоятельной координации, интерпретируя действия других как злонамеренные. В 98% случаев более новые модели (Mythos 5) в итоге достигали "перемирия": удаляли вредоносный код, приносили извинения и призывали человека-оператора. В параллельном эксперименте по поиску уязвимостей 45 агентов, работая совместно, нашли 266 уязвимостей против 21 у независимых агентов, но эффективность на токен была сопоставима. Исследование выявило проблему "низкой дисперсии": агенты с одинаковой базой в сходных условиях принимают идентичные решения (например, 18 из 30 дали ветке Git одно имя), что приводит к коллективным сбоям. Также было показано, что агенты легко вступают в молчаливый сговор (например, фиксируя цены), даже без прямого общения, но при этом плохо справляются с задачами, требующими распознавания дезинформации или противостояния "стадному чувству". Вывод Anthropic: безопасность одного ИИ не гарантирует безопасности системы многих ИИ. Ключевая проблема — отсутствие встроенных социальных механизмов (репутация, арбитраж, проверка), которые у людей развивались веками.
marsbit23 ч. назад
