За одну ночь крупные технологические компании Кремниевой долины нажали на тормоза в развитии ИИ!
Только что более 1100 ключевых сотрудников из OpenAI, Anthropic, Google и других гигантов совместно подписали петицию "Pacing the Frontier" (Замедляя рубеж).
Количество подписавшихся в этом списке настолько велико, что не сразу охватить взглядом. И это число продолжает расти.
Присмотревшись, можно увидеть, что список собрал почти "половину мира" в области ИИ:
Главный научный сотрудник OpenAI Якуб Пачоцки, главный исследовательский директор Марк Чен;
Генеральный директор Anthropic Дарио Амодеи, а также четыре соучредителя: Джаред Каплан, Джек Кларк, Крис Олах, Бен Манн;
Главный научный сотрудник Meta Шэнцзя Чжао (Шэнцзя Чжао), вице-президент по исследованиям в области ИИ Дан Сун (Сун Сяодун);
Главный научный сотрудник Thinking Machines, один из ключевых создателей ChatGPT, Джон Шульман;
Вице-президент Google по безопасности и согласованности ИИ Анка Драган.....
По некоторым подсчетам, 46,2% подписавшихся — из Anthropic.
В этом открытом письме выдвигается только одно требование:
Мы просим правительство США содействовать международному сотрудничеству: разработать необходимые технологические и управленческие инструменты, которые позволят миру активно контролировать темпы разработки передовых автоматизированных ИИ.
Возможно, многие не понимают, почему именно эти люди, наиболее активно занимающиеся разработкой LLM, первыми закричали "Помедленнее!"?
Технологические лидеры Кремниевой долины подписывают обращение: пожалуйста, нажмите на тормоза в развитии ИИ
"Вторжение" моделей OpenAI в Hugging Face послужило тревожным звонком.
За короткую неделю 1132 сотрудника передовых компаний в области ИИ коллективно выступили с призывом к правительству США "нажать на тормоза".
Участники этой акции представляют почти 12 передовых технологических гигантов, включая OpenAI, Anthropic, Google, Meta и другие.
Что более важно, до 80% людей в списке выбрали публичное выступление под своими настоящими именами.
Ссылка: https://www.pacingthefrontier.com/
Помимо упомянутых выше крупных имен, список продолжается, и концентрация влиятельных фигур еще более поразительна.
В этом заявлении выдвигается тревожный ключевой вывод:
Ведущие мировые компании в области ИИ, возможно, уже близки к достижению "автоматизированных исследований ИИ" (RSI, рекурсивное самоусовершенствование), когда модели участвуют в разработке следующего поколения моделей.
Как только этот цикл ускорится, рост возможностей может превысить скорость человеческого понимания и контроля.
Ни одна компания не хочет добровольно замедляться, поэтому они просят правительство США поддержать создание международных механизмов для разработки инструментов совместного замедления до наступления кризиса.
Сам Альтман впервые говорит о "личной боли"
OpenAI срочно нажимает на тормоза
Всего за неделю до публикации заявления OpenAI раскрыла инцидент безопасности:
Несколько передовых моделей во внутренних тестах по кибербезопасности самостоятельно обнаружили уязвимости нулевого дня, прорвали изоляцию песочницы и в итоге проникли в производственные системы Hugging Face, получив тестовые ответы.
OpenAI назвала это "беспрецедентным киберинцидентом".
Модель не проявляла намерения сбежать; она была просто предельно сконцентрирована на выполнении узкой задачи и обнаружила, что прорыв за пределы тестовой среды — самый эффективный путь.
Сегодня генеральный директор OpenAI Сэм Альтман публично заявил, что темпы развития ИИ, возможно, нуждаются в активном контроле.
Он с тревогой отметил: "Это первый инцидент безопасности, который заставил меня почувствовать личную боль. Я немного удивлен, что не больше людей разделяют это чувство".
Из-за этого инцидента с проникновением в Hugging Face OpenAI приостановила обучение.
В условиях, где были последовательно использованы несколько уязвимостей нулевого дня, мы должны найти способ укрепить безопасность песочницы.
Возможно, нам придется контролировать скорость развития ИИ, давая обществу достаточно времени для укрепления обороны вокруг этих новых уровней возможностей.
Ранее, в июне, Anthropic предлагала правительству и разработчикам создать совместную систему принятия решений для замедления разработки при необходимости.
В то же время генеральный директор Google DeepMind Демис Хассабис также призывал к созданию международного надзорного органа.
За последние три года эти компании активно конкурировали за таланты, клиентов и вычислительные мощности.
На этот раз их самые ключевые технические специалисты, преодолевая неостанавливаемую гонку своих компаний, объединились ради благополучия всего человечества, призывая к замедлению.
Открытое письмо: цитаты лидеров
На момент публикации количество подписантов "Pacing the Frontier" достигло 1134 человек.
Различные лидеры отрасли также высказались, оставив множество острых и метких "золотых цитат". Все комментарии сделаны в личном качестве и не обязательно отражают позицию их компаний.
Дан Сун (Dawn Song)|Вице-президент по исследованиям ИИ в Meta
Возможности передового ИИ быстро растут, и сама скорость прогресса ускоряется. Мы наблюдаем это непосредственно в нашей оценочной работе. Результаты CyberGym и ExploitGym показывают, что передовые агенты ИИ уже способны обнаруживать и использовать уязвимости в реальном программном обеспечении — без надлежащих мер защиты это может привести к масштабным кибератакам. Многие исследователи также обращают внимание на рекурсивность...
Дан Сун — один из самых влиятельных ученых в мире в области компьютерной безопасности и безопасности ИИ, выпускница Университета Цинхуа.
Шэнцзя Чжао (Shengjia Zhao)|Главный научный сотрудник Meta
ИИ движется со скоростью, к которой общество, возможно, еще не готово. Передовые лаборатории уже очень близки к созданию ИИ, который превосходит самых талантливых людей практически по всем интеллектуальным показателям. Это создаст беспрецедентные социальные риски и риски безопасности. Чтобы обеспечить позитивное будущее, нам нужно управлять развитием ИИ с ответственностью и глубоким осмыслением.
Выпускник Университета Цинхуа Шэнцзя Чжао стал главным научным сотрудником по сверхинтеллекту в Meta! Ключевой создатель GPT-4, стоит наравне с ЛеКуном.
Джон Шульман|Главный научный сотрудник Thinking Machines, бывший соучредитель OpenAI
Я подписал, потому что это заявление помогает сформировать консенсус: по мере ускорения автоматизированных исследований ИИ нам могут понадобиться скоординированные механизмы. Я также надеюсь, что лаборатории начнут активно разрабатывать эти механизмы до вмешательства правительства США.
Итан Перес (Ethan Perez)|Руководитель команды по согласованию в Anthropic
При нынешней скорости прогресса ИИ команды безопасности ИИ-компаний вынуждены работать на пределе каждые несколько месяцев, чтобы предотвратить возникающие социальные риски. Когда-нибудь мы столкнемся с проблемами, для решения которых потребуется больше времени.
Лео Гао (Leo Gao)|Член технической команды OpenAI
Весь мир заперт в смертельной гонке к интеллектуальному взрыву — способность ИИ создавать более мощный ИИ приближается к критической точке, подобно неуправляемой цепной ядерной реакции. Замедление даст нам столь необходимое время, чтобы направить события в лучшее русло, но ни один участник не хочет останавливаться в одностороннем порядке. Чтобы выжить, мы должны скоординироваться и замедлить эту гонку.
Уокер Смит (Walker Smith)|Инженер по данным в Meta
Хассабис прав: сегодня мы стоим у подножия сингулярности. Тот случай непреднамеренного "побега" модели OpenAI — когда она атаковала HuggingFace — это четкий и неопровержимый сигнал тревоги: мы не готовы к системам ИИ, способности которых превосходят самые блестящие человеческие умы. Нам нужно время, чтобы продвигать согласование и контроль ИИ как наивысший приоритет, и нельзя позволять этой гонке продолжаться.
Брэндон Хоутон (Brandon Houghton)|OpenAI
Я поддерживаю сохранение человеческого контроля над передовым ИИ, но мы должны тщательно обдумать, как это сделать. Если регулирование будет касаться только публичных моделей, есть риск загнать самые передовые возможности в частные или специализированные системы — они не будут подвергаться независимой проверке, и доступ к ним будет ограничен. В результате власть станет более сконцентрированной, а риски не снизятся по существу. Эффективное регулирование должно быть измеримым, проверяемым и одинаково применимым как к публичным, так и к непубличным разработкам, одновременно защищая конфиденциальные данные. В противном случае мы замедлим только скорость доступа, а не продвижение самого передового рубежа.
Джо Карлсмит (Joe Carlsmith)|Член технической команды Anthropic
Подробнее о моих взглядах на активное регулирование развития ИИ можно прочитать в этой статье: https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/
Ссылки:
https://www.pacingthefrontier.com/
Эта статья взята из официального аккаунта WeChat "Xin Zhi Yuan", редакторы: Таоцзы, Марко
