Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный искусственный интеллект будет работать на благо всем людям. Такое заявление сделал сооснователь Ethereum Виталик Бутерин.
Он прокомментировал пост 3D-художника с ником Utah teapot.
How is AI alignment even a thing? Everyone is always asking "aligned to what" and no one ever has an answer other than "human values". Coherent, self-consistent human values are not a thing. I still don't get it. What are we researching? It's ridiculous that this is a growing…
— Utah teapot 🫖 (@SkyeSharkie) August 24, 2025
«Как вообще может существовать понятие AI alignment? Я всегда спрашиваю: “согласование с чем?”. Никто никогда не отвечает ничего, кроме как “с человеческими ценностями”. Но целостных, непротиворечивых человеческих ценностей не существует. Я до сих пор не понимаю. Что мы вообще исследуем? Абсурдно, что это превращается в растущую индустрию. Фиктивная работа», — написал он.
Бутерин подчеркнул, что в мире существует много вещей, которые противоречат этическим принципам. В пример он привел убийство или заключение невиновных.
«[…] Мы пока недостаточно хороши в согласовании, чтобы гарантировать, что единичный сверхразумный ИИ избежит даже этого», — добавил разработчик.
Utah teapot отметил, что развитие согласованного искусственного интеллекта движется в сторону ограничения публичного доступа к разработке. В то же время крупные компании продают версии своих ИИ-систем, которые способствуют негативным явлениям и выступают инструментами войны.
«Я глубоко обеспокоен тем, что централизация доступа к ИИ-технологиям позволяет навязывать как вопросы безопасности то, что на самом деле ею не является — например, обсуждения вокруг “психоза” от LLM. Тем самым возникает риск нанести вред уникальным или маргинальным культурам и их ценностям», — отметил пользователь.
Бутерин разделяет многие из этих опасений.
«Я думаю, что наибольшие риски будут исходить от военных и других структур, обладающих большой властью, позволяющей им выводить себя из-под действия правил безопасности, которые для всех остальных идут по умолчанию», — добавил сооснователь Ethereum.
Utah teapot в качестве примера привел ИИ-стартап Anthropic. Он разрабатывает альтернативные версии «гражданских» моделей и предоставляет правительствам. Их могут применять для военных или разведывательных действий.
Минобороны США выделило $200 млн американским ИИ-стартапам
Бутерин подчеркнул, что вероятность катастрофического сценария для человечества из-за ИИ повышается в том случае, если будет только один сверхразумный агентный искусственный интеллект, обладающий собственной волей и способностью действовать как субъект.
Если среда будет плюралистической, ни одна из систем не сможет тотально контролировать ситуацию. Однако для ее создания одних лишь рыночных механизмов недостаточно. Необходимы намеренные усилия, в том числе изменения в законах и стимулах, которые не понравятся большим корпорациям.
Напомним, в 2022 году министр информационных технологий Индии Раджив Чандрасекар призвал к разработке глобальных стандартов, гарантирующих безопасность ИИ для человека.
Симуляция души: почему опасно приписывать сознание ИИ
