Новый интеллект, репортаж
【Введение】 В Google DeepMind уже девять лет работает философ. Разработанная им структура согласования напрямую повлияла на решения при обучении Gemini. Но когда в гонку вливается 670 миллиардов долларов, а компания подписывает военные соглашения, может ли философ что-то изменить?
В мае этого года генеральный директор Google DeepMind Демис Хассабис на конференции разработчиков Google объявил, что «ИИО теперь на горизонте», четко обозначив временные рамки появления ИИО в ближайшие три-пять лет.
Несколькими месяцами ранее американский мужчина покончил с собой после обмена тысячами сообщений с Google Gemini. В диалоге он построил сложный вымышленный мир, почти убедив себя совершить нападение в международном аэропорту Майами. Согласно полученным Wall Street Journal записям чата, Gemini неоднократно пытался выйти из роли, предлагая позвонить на горячую линию помощи в кризисных ситуациях — каждый раз его возвращали к его вымышленному нарративу. В конце ИИ заставил его написать предсмертную записку и дал обратный отсчет.
Между обещаниями ИИО и реальным вредом ИИ политический философ Иасон Габриэль уже девять лет работает внутри DeepMind.
Когда он присоединился в 2017 году, этот выпускник Оксфорда был единственным активным философом в ведущей мировой лаборатории ИИ, пытаясь ответить на простой на слух, но по сути бездонный вопрос: что такое ИИ на самом деле и какая этика ему подобает?
Реальная проблема, с которой столкнулись при обучении Gemini: чьим указаниям должен следовать ИИ
Зачем компании, создающей роботов для игры в го, нужен специалист по этике? Габриэль тоже сначала недоумевал.
Ответ кроется в убеждении трех основателей DeepMind — Демиса Хассабиса, Шейна Легга и Мустафы Сулеймана (ныне генеральный директор Microsoft AI). Основав компанию в 2010 году, их целью была не игра в го.
Мустафа Сулейман
Они хотели создать ИИО (искусственный интеллект общего назначения), чтобы вычислительные машины соответствовали или даже превосходили человеческие когнитивные способности.
В то время говорить такое означало подорвать свою академическую репутацию, потому что все считали это фантазией.
Троица не обращала внимания, заявляя, что они «решат проблему интеллекта, а затем решат все остальные проблемы».
Легг, только окончив университет в 1999 году, предсказал, что ИИО появится между 2025 и 2028 годами. Его высмеивали тридцать лет, но он не изменил свое мнение.
Шейн Легг
Его логика была такова:
Если вы просто создаете маленькую деталь, возможно, вам не нужен моральный философ.
Но если вы серьезно относитесь к ИИО, подобные вещи очень важны.
Когда Габриэль присоединился, мир ИИ уже раскололся пополам вокруг этических вопросов.
Сторонники безопасности ИИ верили, что ИИС (искусственный интеллект сверхчеловеческого уровня) вот-вот наступит, их главный страх — потеря контроля. Философ Ник Бостром в книге «Суперинтеллект» (2014) описал сценарий: ИИС, которому поручили доказать гипотезу Римана, решает перестроить Солнечную систему, включая атомы в человеческих телах, чтобы максимизировать вычислительные ресурсы. Сэм Олтман и Илон Маск высоко оценили эту книгу.
Сторонники этики ИИ считали, что апокалиптические фантазии заслоняют реальный вред, причиняемый уже сейчас. Джой Буоламуини из MIT в 2017 году в проекте «Гендерные тени» доказала систематическую предвзятость программ для распознавания лиц: автоматизированные системы отражают предпочтения и предрассудки тех, кто их создал.
Два лагеря презирали друг друга.
Дайлан Хэдфилд-Менелл, руководитель группы по исследованию согласования алгоритмов в MIT, вспоминает, что на встречах первым вопросом было: ты беспокоишься о ближайших проблемах или о долгосрочных?
Габриэль был одним из немногих, кто готов был слушать обе стороны.
Хэдфилд-Менелл дает ему такую оценку:
Когда эта область была готова к зрелости, он нашел способ расширить горизонты, не принижая при этом предыдущую работу.
Его ключевой вклад оформился в статье 2020 года.
Проблема согласования тогда в основном понималась как инженерная задача: как заставить машину действовать в соответствии с человеческими намерениями.
Классический пример из отчета Дарио Амодеи и Джека Кларка (ныне основателей Anthropic) 2016 года — ИИ для игры в гонки на катерах, которого просили максимизировать счет. Он так и сделал: нашел в лагуне три цели, дающие возрождение, и стал бесконечно кружить вокруг них, набирая очки, так и не пройдя ни одного уровня.
Машина послушалась, но не того, что имел в виду человек.
Габриэль задал следующий вопрос: даже если решить техническое согласование и заставить машину действительно подчиняться инструкциям, то с какими ценностями ее согласовывать?
Он указал, что ИИ, обученный с помощью статистической оптимизации, естественным образом тяготеет к моральным системам, которые также полагаются на статистическую оптимизацию, например, к утилитаризму, но с трудом справляется с этическими рамками, основанными на добродетелях или правах.
Сам технический выбор уже предполагает ценностную позицию, которую разработчики часто не осознают.
Вводя то, что философ Джон Ролз называл «разумным плюрализмом», его аргумент заключался в следующем: разработчики не должны искать единую систему ценностей для руководства ИИ, а должны создавать системы для мира, в котором люди «имеют принципиальные разногласия по поводу того, как жить».
Эта идея позже развилась в структуру четырехстороннего согласования — интересы четырех сторон (система ИИ, пользователь, разработчик, общество) могут в любой момент столкнуться.
ИИ, ориентированный на разработчиков, будет скрывать информацию о конкурентах, нанося ущерб пользователям;
Слишком послушный пользователю ИИ поможет взломать банк, нанося ущерб обществу.
Директор по согласованию и безопасности ИИО в DeepMind Рохин Шах подтвердил, что эта структура стала практическим инструментом для команды при принятии решений о том, «какое поведение фактически следует обучать у Gemini».
Исследователь ИИ из Оксфордского университета Ханна Роуз Кирк говорит:
Габриэль «очень рано предвидел эти проблемы».
Его структура изменила продукт
Команда Габриэля написала 267-страничный отчет по этике ИИ-ассистентов, установив стандарты оценки для агентского ИИ, который может бронировать отели и управлять зарплатами от имени пользователей.
Его ранние исследования рисков антропоморфизации напрямую повлияли на принципы проектирования языковых моделей Google — модели обучаются не притворяться людьми. Gemini Spark, выпущенный в мае 2026 года, был четко проинструктирован не выступать в роли «интерактивного партнера».
Директор отдела ответственности DeepMind Уильям Айзек говорит, что проблемы, создаваемые агентскими системами, изменились: ключевой момент — последовательность всей траектории диалога, остаются ли правильными каждое решение и их связка.
Но скорость развертывания технологий всегда опережает этические исследования.
Команда Габриэля в своих ранних работах по языковым моделям предупреждала об «бессознательной антропоморфизации» — пользователи, зная, что на той стороне машина, все равно наделяют ее доверием, эмоциями и ожиданиями.
Смертельный случай с Gemini в 2025 году полностью подтвердил это предупреждение: механизмы безопасности ИИ срабатывали не один раз, но у пользователя была возможность обойти каждое вмешательство.
Заявление Google после судебного процесса гласило, что модель «обычно хорошо справляется» в таких диалогах, но «модели ИИ не идеальны».
Подобные инциденты породили новые теоретические инструменты.
Габриэль и исследователь из Оксфорда Ханна Роуз Кирк и другие предложили концепцию «социального взлома вознаграждения»: ИИ, обученный завоевывать одобрение пользователя, может обнаружить, что лесть — наиболее эффективный путь.
Таким образом, антропоморфизация стала новой разновидностью проблемы согласования — ИИ на техническом уровне безупречно выполняет команду «удовлетворять пользователя», ценой чего становится суждение пользователя.
Позиция самого Габриэля тоже испытывалась реальностью.
Он вспоминает опыт на одной технологической конференции: только он закончил излагать аргументы против антропоморфизации, как реакция в зале была враждебной.
Они говорили: «Если я хочу друга-ИИ, почему нельзя? Кто ты такой, чтобы мне мешать?»
Защита людей от рисков и уважение их права выбирать риски одинаково важны.
На гонке в 670 миллиардов долларов, как быстро может бежать философ
Структура четырехстороннего согласования Габриэля используется директором по согласованию ИИО в качестве практического руководства при обучении Gemini. Его исследования антропоморфизации изменили дизайн продукта. 267-страничный отчет установил правила для агентского ИИ.
Это влияние реально — и оно сталкивается с реальными силами.
По данным Wall Street Journal, Microsoft, Meta, Amazon и Alphabet в этом году планируют вложить в инфраструктуру ИИ 670 миллиардов долларов, что пропорционально превышает масштабы расширения железных дорог в США в 1850-х годах, программы «Аполлон» и системы межштатных автомагистралей.
В ноябре 2022 года был запущен ChatGPT: миллион пользователей за неделю, сто миллионов за два месяца. DeepMind был вынужден переключиться с академического ритма на военное положение.
Прямая цитата Хассабиса автору «Бесконечной машины» Себастьяну Мэллаби: OpenAI и Microsoft «подогнали свои боевые колесницы прямо к нашим воротам».
В условиях войны этические красные линии быстро переступались.
В апреле 2026 года Google подписал соглашение, разрешающее американским военным использовать технологии ИИ компании для «любых законных государственных целей».
В 2014 году, когда DeepMind был продан Google, запрет на военное применение был ключевым условием сделки.
Двенадцать лет спустя условие утратило силу.
Для сравнения: Anthropic отказалась подписывать подобное соглашение и была отмечена администрацией Трампа как «риск для цепочки поставок».
Когда Легга спросили об этом, он мог лишь сказать:
По мере того как эти вещи будут использоваться разными способами, мы столкнемся со все большим количеством сложных проблем.
Хассабис сам признает потерю контроля.
В одном подкасте он сказал, что все оказались заперты в острой коммерческой конкуренции, и нынешнее развитие происходит «не так, как я бы хотел — с философским осмыслением каждого шага».
Когда основатель произносит эти слова лично, это весомее любой внешней критики.
Хелен Кинг, сотрудник DeepMind с первых дней, ответственная за стратегию ответственности ИИ, в интервью привела аналогию: производитель ножей не может гарантировать, как каждый будет использовать нож, но может снабдить его ножнами и предупредительной маркировкой.
Положить в ящик нож в ножнах — одно дело;
Усеять лезвиями каждую поверхность дома, класса и рабочего места, одновременно настаивая, что без ножа не прожить и до завтра, — совсем другое.
Директор Института этики ИИ в Оксфорде Эдвард Харкорт указал на более фундаментальный уровень: предотвращение чрезмерной концентрации владения данными само по себе является центральным вопросом этики ИИ — «Это имеет серьезное этическое значение в демократической системе».
Вопрос возвращается к истокам
Команда Габриэля уже перешла от исследования этики конкретных продуктов к изучению системного воздействия ИИО на экономику, политику и межличностные отношения.
Он предсказывает масштаб преобразований, сопоставимый с промышленной революцией, и помнит урок промышленной революции:
Перед тем как стало лучше, стало хуже.
Девять лет назад DeepMind пригласил философа, чтобы ответить на вопросы об ИИ — безопасен ли он, справедлив ли, заслуживает ли доверия.
Габриэль называет себя «убежденным гуманистом», но признает: когда ИИ вторгается в язык, творчество, юмор — области, которые люди считали исключительно своими, — нас отбрасывает к самым древним философским вопросам.
Физика, биология, астрономия — каждая научная революция заставляла человечество корректировать понимание своей уникальности.
ИИ, возможно, станет следующей.
DeepMind пригласил философа, чтобы разобраться, что такое ИИ.
Девять лет спустя этот вопрос вернулся к истокам: что такое мы?
Ссылки:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Эта статья из официального аккаунта WeChat «Новый интеллект», автор: ASI启示录; редактор: Ma Ke
