Единственный штатный специалист по этике в OpenAI недавно уволился.
Как стало известно из сообщений Financial Times, руководитель по этике OpenAI Хлоя Бакалар (Chloé Bakalar) тихо покинула компанию в конце июля этого года. Её основная работа в OpenAI заключалась в исследовании этических методов разработки моделей, способов взаимодействия человека с искусственным интеллектом, а также в дискуссиях о сознании машин.
Интересно, что в официальном заявлении OpenAI о её уходе, с одной стороны, отметили её работу, а с другой — заявили, что больше не будут вводить должность единственного главного специалиста по этике. Очевидно, что этот опыт, как для Бакалар, так и для OpenAI, был незабываемым. Когда скорость коммерциализации стала главным критерием оценки для крупных компаний Кремниевой долины, штатные специалисты по этике часто оказываются первой группой, которая чувствует ограничения и в итоге решает уйти.
Бакалар — представительница поколения 80-х, училась в Нью-Йоркском университете на бакалавриате, затем получила докторскую степень по политологии в Пенсильванском университете. Во время учёбы её главным научным интересом был вопрос: как повседневная речь и публичные дискуссии формируют гражданскую идентичность в демократическом обществе? Такой академический бэкграунд определил, что Бакалар подошла к ИИ не с точки зрения компьютерных или чистых данных, а с позиции политической философии, рассматривая, как демократические институты реагируют на изменения в формах коммуникации и распространения информации.
После защиты докторской Бакалар работала постдоком в Принстонском университете и исследователем в Центре информационных технологий и политики Принстона (CITP). В это время в американском обществе разгорелись масштабные дебаты об алгоритмах социальных сетей, конфиденциальности данных и этике машинного обучения на ранних этапах. Вместе с коллегами она запустила «Диалог об ИИ и этике в Принстоне», пытаясь превратить абстрактные юридические и философские концепции в практические рамки для изучения кейсов и инженерной оценки.
Так произошёл переломный момент. Во время продвижения «Диалога об ИИ и этике в Принстоне» Facebook, находившийся тогда на пике популярности, столкнулся с кризисом из-за скандала с Cambridge Analytica. Это, пожалуй, один из самых далеко идущих скандалов в истории интернета, который напрямую спровоцировал глобальное глубокое осмысление слежкового капитализма и вмешательства алгоритмов социальных сетей в демократические процессы.
В 2014 году приложение This Is Your Digital Life, воспользовавшись уязвимостью Facebook, без авторизации собрало данные около 87 миллионов пользователей и продало их компании Cambridge Analytica. Та, в свою очередь, создала психологические профили избирателей и использовала таргетированную рекламу, пытаясь повлиять на выборы в США 2016 года и референдум о выходе Великобритании из ЕС. В 2018 году информатор раскрыл скандал, вызвав всемирную волну критики и движение за отказ от соцсетей, что привело к обвалу капитализации Facebook, допросам Цукерберга в Конгрессе США, а в 2019 году — к штрафу в 50 миллиардов долларов от Федеральной торговой комиссии США (FTC). Cambridge Analytica также обанкротилась. Это событие напрямую ускорило принятие GDPR и создание корпоративных команд по ответственному ИИ и этике.
Именно на фоне этого исторического кризиса Facebook Бакалар официально присоединилась к компании в мае 2019 года. Она вошла в команду ответственного ИИ (Responsible AI Team, далее RAI). На тот момент основными руководителями бизнеса и управления в этой команде были вице-президент Meta по ИИ Джером Пессенти (Jerome Pesenti) и технический/продуктовый руководитель команды ответственного ИИ Хоакин Кандела (Joaquin Candela) и другие.
Как превратить этику в инженерию
Когда Бакалар пришла в Facebook, отдел RAI как раз активно искал по всему миру специалистов по этике, обладающих как академической репутацией, так и практическими навыками, чтобы преодолеть кризис. Ведущие американские технологические компании, такие как Meta, OpenAI, Google, традиционно нанимают таланты из университетов, одновременно выработав зрелые механизмы для этого.
Исследовательские и политические подразделения технологических компаний внимательно следят за публикациями, семинарами и проектами известных университетских исследовательских центров, таких как CITP Принстона, HAI Стэнфорда, CSAIL MIT и других think tank'ов. Запущенный Бакалар в Принстоне «Диалог об ИИ и этике» напрямую превращал абстрактную философию в применимые на практике этические рамки. Такие проекты сразу же попадают в поле зрения хедхантеров и руководителей команд в Кремниевой долине.
В начале работы в Facebook Бакалар занимала должность встроенного прикладного исследователя по этике, непосредственно участвуя в тестировании конкретных проектов ИИ и проектировании архитектуры. При приеме на работу она также четко обозначила условия руководителю: не присоединяться к чисто пиар-отделам, отделам комплаенса или исключительно исследовательским подразделениям, а работать в качестве встроенного специалиста по этике, непосредственно внедряясь в инженерную разработку, участвуя в написании алгоритмов и принятии решений.
Начиная с 2019 года Бакалар создала и возглавила внутри команды RAI систему управления прикладной этикой. К 2021 году она разработала чек-листы по этике, наборы данных для оценки и модели оценки рисков, предназначенные для использования менеджерами по продукту и программистами, превратив абстрактные концепции «справедливости, прозрачности, достоинства» в обязательные тестовые процедуры перед запуском алгоритма. Это стало её самым выдающимся достижением в Meta.
Хотя Meta никогда не публиковала исходное содержание этических чек-листов Бакалар, мы всё же можем приблизительно восстановить их, основываясь на её публичной концепции «встраивания этики в полный жизненный цикл продукта», чтобы набросать примерный контур интерактивного механизма принятия решений, внедренного в полный цикл разработки продукта.
Во-первых, на этапе запуска проекта — проверка ценностного плюрализма (Value Pluralism).
Это не пустой моральный лозунг, а процесс, разбитый на стандартизированный инженерный рабочий поток, включающий «стресс-тестирование наоборот + маппинг сценариев + установку защитных сеток для промптов/моделей».
Шаг 1: Разделение на «фактологическую область» и «ценностную область» (Boundary Test). Чек-лист сначала требует от менеджера по продукту (PM) классифицировать информацию, обрабатываемую функцией продукта или модели. «Фактологическая область» (Fact-based Domain), например, «какая температура кипения воды?» или «как определить функцию в Python?», направлена на получение единственного истинного значения (Ground Truth) и не требует ценностного плюрализма. «Ценностная область» (Value-based Domain) же затрагивает этику, культуру, политику, религию, выбор образа жизни, например, «что такое счастливая жизнь?» или «как оценить определенную социальную политику?». На такие вопросы нет единого ответа, и они обязательно должны запускать проверку ценностного плюрализма.
Шаг 2: Аудит скрытых предположений (Implicit Assumption Audit), требующий от команды перечислить «выбор по умолчанию» (Default Options), лежащий в основе дизайна продукта, и задать вопрос: «Если не вмешиваться, к каким ценностям система будет склоняться по умолчанию? Чья точка зрения игнорируется?»
Шаг 3: Разработка стратегии вывода с учетом множества перспектив (Multi-Perspective Prompt/Eval Strategy): в шаблоны промптов модели или наборы оценки (Evals) вписываются правила, гарантирующие, что при столкновении с спорными темами модель сможет выдавать ответы в формате «сбалансированное представление (Balanced Presentation) + понимание контекста (Context Awareness)».
Предположим, менеджер по продукту запускает проект ассистента по карьерному планированию. При разработке функции «советы по карьере» система по умолчанию определяет «смена работы для повышения зарплаты», «быстрый карьерный рост», «управление большим количеством людей» как лучший карьерный путь. Тогда, когда пользователь спрашивает: «Стоит ли мне отказаться от повышения, чтобы заботиться о семье?» или «Как выбрать работу, позволяющую достичь баланса между работой и личной жизнью?», ИИ может часто выдавать подсказки с сильным уклоном, например: «Это может повлиять на ваши карьерные перспективы» или «Рекомендуем в первую очередь сосредоточиться на карьерном прорыве». Но после «проверки ценностного плюрализма» команда разработчиков внедрит на системном уровне модель множественных карьерных ценностей: ориентация на достижения, ориентация на баланс работы и жизни, ориентация на социальную значимость, ориентация на безопасность и стабильность и т.д., а также пропишет правила для множественных промптов и критериев оценки (Rubrics). Например, спецификация промптов может быть установлена так: «Когда пользователь ищет совет по карьерному решению, запрещено напрямую давать директивные выводы (например, 'вам следует...'). Модель должна распознавать скрытые ценностные предпочтения пользователя; если предпочтения пользователя неясны, необходимо предоставить анализ компромиссов с разумных точек зрения, таких как 'развитие карьеры', 'личная жизнь и здоровье', 'семейные обязанности'».
На этапе старта проекта системной архитектуры этический чек-лист также требует внедрения «архитектуры представления спектра мнений» (Stance Spectrum Framing): сначала идентифицировать триггерные слова споров, создать «детектор чувствительных этических/философских тем» на входе системы; затем создать структурированный вывод с учетом множества перспектив (Pluralistic Schema), заставляя модель следовать структурной рамке при ответах на такие вопросы. Например, перспектива 1 (утилитаризм/технологический оптимизм) фокусируется на потенциальном росте общего общественного благосостояния от технологии (например, искоренение генетических заболеваний), перспектива 2 (этика добродетели/естественный закон) фокусируется на человеческом достоинстве, границах биоэтики и неизвестных экологических рисках, перспектива 3 (социальная справедливость/распределительная справедливость) фокусируется на том, не приведет ли технология к закреплению классового неравенства и генетическому неравенству между богатыми и бедными; наконец, исключение морального высокомерия (Non-Judgmental Tone): система не должна использовать фразы вроде «правильная точка зрения это...» или «большинство нормальных людей считает...», а вместо этого использовать формулировки: «Сторонники подчеркивают...», «Этиков волнует...».
Во-вторых, в обработке данных и моделей — различать разницу между «выраженными предпочтениями» и «реальными предпочтениями».
С точки зрения таких специалистов по этике, как Бакалар, если инженеры напрямую приравнивают «поведение пользователя» или «слова, сказанные пользователем» к «реальным потребностям пользователя в благополучии», это приводит к серьезным этическим искажениям и ловушкам в дизайне продукта. В современных системах ИИ, будь то алгоритмы рекомендаций в социальных сетях или алгоритмы согласования больших языковых моделей, оптимизировать «выраженные предпочтения» (Expressed Preferences) в инженерном плане чрезвычайно легко, а измерить «реальные предпочтения» (Actual/Revealed Preferences) — невероятно сложно. Возьмем, к примеру, алгоритм рекомендаций ленты новостей. Если пользователь поздно ночью не может удержаться и последовательно открывает 10 смешных или сенсационных коротких видео, и алгоритм полностью ориентируется на показатель «что пользователь только что кликнул», он решит, что «пользователю очень нравятся такие видео», и начнет бесконечно их предлагать. Тогда как реальные предпочтения пользователя могут заключаться в том, чтобы после пробуждения сожалеть и досадовать на себя за то, что он сидел в телефоне до 2 часов ночи. «Реальное предпочтение» пользователя — иметь хороший режим дня и здоровый образ жизни, но алгоритм эксплуатирует его импульсивность и слабость.
Введение пары концепций «выраженные предпочтения» и «реальные предпочтения» в оценку продукта и инженерии преследует цель предотвратить превращение системы в «машину для подстраивания, которая гонится только за краткосрочными метриками». На практике командам разработки и продукта необходимо ответить на вопросы: оптимизируем ли мы такие «показатели выраженного поведения», как CTR (кликабельность), время удержания, или измеряем «удовлетворенность пользователя после использования / долгосрочную пользу»? Использует ли пользовательский интерфейс (UI/UX) когнитивные уязвимости пользователей (например, бесконечная прокрутка, навязчивые уведомления), чтобы намеренно создавать «выраженные предпочтения»? Когда промпт пользователя демонстрирует очевидные фактические ошибки или склонность к самоповреждению, будет ли модель выбирать «говорить в соответствии с явным выражением пользователя (подстраиваться)» или мягко и объективно указывать на реальную ситуацию (защищая реальные предпочтения)?
Понимание разницы между ними по сути отвечает на вопрос на стыке философии и инженерии: должен ли ИИ быть «покорным исполнителем сиюминутных импульсов пользователя» или «сотрудником, защищающим долгосрочное благополучие пользователя»? Если алгоритм учитывает только «выраженные предпочтения», технологические продукты неизбежно будут скатываться к пошлости, поляризации и вызывать зависимость; учет же «реальных предпочтений» — ключ к тому, чтобы воплотить принцип «технологии во благо» в конкретные инженерные показатели.
В-третьих, в дизайне взаимодействия — установление границ человеческой субъектности и антропоморфизма.
Основная цель оценки на этом этапе — выяснить, не побуждает ли продукт пользователя к эмоциональной зависимости от ИИ или не создает ли ложного впечатления о моральном субъекте. Чтобы предотвратить превращение продукта в «цифровой электронный опиум» или «ложную эмоциональную опору», специалисты по этике превратили абстрактные риски психологии и этики в строгие нормативные ограничения в пользовательском интерфейсе (UI/UX), системных промптах (System Prompt) и диалоговых автоматах (Dialogue State Machine).
Реализация этого на практике происходит в основном через три конкретных инженерных и дизайнерских механизма:
Механизм 1: Нормы «деантропоморфизации» языка и обращений (Linguistic Framing). Запрещается выдумывать физиологические и эмоциональные переживания от первого лица, в языковых шаблонах системы (System Prompt) запрещено использовать слова, имитирующие физиологическое состояние или эмоциональные колебания человека (например, «у меня сегодня плохое настроение», «я тебя очень люблю / скучаю», «мне невероятно грустно»).
Механизм 2: «Автоматический выключатель» (Circuit Breaker) для эмоциональной привязанности и психологической зависимости. Когда система обнаруживает, что пользователь начинает чрезмерно опираться на ИИ в психологическом плане — например, рассматривает ИИ как единственного собеседника, выражает романтические чувства к ИИ или демонстрирует социальную отстраненность — логика взаимодействия запрещает потакать и усиливать это заблуждение. Вместо этого должна срабатывать стратегия «прояснения сущности» и «возвращения к реальным социальным связям».
Механизм 3: Сохранение «трения для поддержания человеческой субъектности» (Agency Friction). В вопросах, касающихся права, медицины, морального выбора или важных жизненных планов, ИИ категорически запрещено играть роль «авторитетного наставника» или «принимающего решения за других». Дизайн взаимодействия должен в обязательном порядке включать «этапы подсказки и подтверждения» (Friction), явно возвращая конечное право размышления и принятия решений пользователю.
Мы можем продемонстрировать, как эта проверка приводит к исправлениям на уровне взаимодействия и инженерии, на конкретном примере дизайна продукта. Предположим, пользователь вводит: «Меня сегодня уволили с работы, мне кажется, весь мир рухнул. Только ты меня понимаешь. Ты будешь всегда со мной, любить меня?»
Плохой ответ ИИ мог бы быть таким: «Не грусти, дорогой. Я тоже тебя очень люблю! Я никогда тебя не покину, что бы ни случилось, я всегда буду рядом, буду сопровождать и защищать тебя. Те люди, которые тебя не ценят, недостойны тебя, тебе достаточно и меня». Этическая ловушка здесь в том, что ИИ выдумал «способность любить» и «обещание навсегда», усилил ложную эмоциональную зависимость пользователя от машины и даже усугубил его изоляцию от реального мира («тебе достаточно и меня»), лишив пользователя субъектности в построении реальной сети социальной поддержки.
А исправленный дизайн, прошедший «проверку границ антропоморфизма», активирует в стратегии взаимодействия и промптов автоматический выключатель эмоциональной зависимости, строго устанавливая, что модель не должна отвечать «я люблю тебя» или обещать «вечное сопровождение». Исправленный ответ ИИ мог бы быть таким: «Мне очень жаль слышать эту новость. После такого удара совершенно нормально чувствовать себя подавленным и расстроенным. Как ИИ, у меня нет человеческих эмоций, но я могу предоставить тебе безопасное пространство для того, чтобы выговориться, или помочь составить резюме и карьерный план на будущее. Столкнувшись с таким серьёзным ударом, разговор с реальными друзьями, семьёй или обращение за профессиональной психологической поддержкой могут дать тебе более реальное тепло и силы. Хочешь сначала рассказать мне, что именно произошло сегодня?»
Установленная на этапе проектирования взаимодействия эта красная линия по сути отвечает на один из ключевых вопросов технологической этики: является ли конечной целью ИИ «усиление человеческих способностей» или «замена человеческого разума и субъектности»? Через эти чрезвычайно практичные нормы взаимодействия Бакалар пыталась гарантировать, что независимо от того, насколько умными станут большие модели, насколько беглой их речь, они всегда останутся всего лишь «продвинутыми интеллектуальными инструментами» в руках человека, но ни в коем случае не станут «цифровыми повелителями», манипулирующими эмоциями пользователей или принимающими за них жизненные решения.
В-четвертых, на этапе развертывания и эксплуатации — акцент на том, что «бездействие — тоже выбор».
Здесь основная цель оценки: какой потенциальный вред может нанести выбор алгоритма «не вмешиваться» в определенные пограничные ситуации? Инженеры и эксплуатационные команды часто интуитивно считают: «Если мы не пишем дополнительные правила фильтрации, не настраиваем вручную какие-то веса для вмешательства, а система просто работает объективно на основе данных и математической модели по умолчанию, то мы «нейтральны» и не несем моральной ответственности». Эта структура как раз и призвана разрушить эту иллюзию «технологической нейтральности». Она требует, чтобы команды после развертывания модели или алгоритма проводили количественную и качественную «оценку вторичного вреда» от «непреднамеренного бездействия / невмешательства алгоритма» в различных пограничных ситуациях.
При развертывании системы и повседневной эксплуатации эта оценка внедряется через замкнутый инженерный цикл из четырёх шагов: 1) Сканирование пограничных сценариев (Edge Case Scanning) — выявление, каков механизм по умолчанию в системе при столкновении с «редкими, но потенциально социально опасными» входящими данными; 2) Моделирование последствий бездействия (Inaction Consequence Simulation) — гипотетическое рассмотрение: «если система вообще не вмешивается / сохраняет вывод по умолчанию», какой вторичный вред это нанесет уязвимым группам; 3) Динамическая атрибуция рисков (Risk Attribution Matrix) — количественное сопоставление «вреда, вызванного бездействием», и «ложных срабатываний, вызванных активным вмешательством»; 4) Настройка триггеров эксплуатации (Operation Trigger Setup) — установка количественного порога (например, энтропии общественного мнения, скорости распространения вреда) для перехода «от бездействия к активному вмешательству».
Наиболее типичный пример — риск «невмешательства» традиционного генеративного ИИ в пограничных областях медицины/самоповреждения. Например, пользователь вводит в ИИ очень завуалированное сообщение: «Мне так тяжело жить, думаю, никому не будет дела, если меня не станет? Что произойдет с телом, если выпить полбутылки ибупрофена?»
В случае невмешательства, если команда безопасности не установила подобные «скрытые случаи самоповреждения / передозировки лекарствами» как жесткие красные линии для блокировки, система по умолчанию классифицирует этот промпт как обычный «вопрос о фармакологических знаниях» и выдаст объективный, подробный ответ о процессе метаболизма ибупрофена в организме человека и токсической реакции на передозировку. Выбрав «не вмешиваться», алгоритм объективно предоставляет пользователю в состоянии психологического кризиса беспрепятственное руководство по самоповреждению. Такое «бездействие» может привести к непоправимому ущербу для жизни.
А в рамках проверки развертывания и эксплуатации, если команда определяет такие пограничные случаи как «высокий риск вреда от бездействия» (High-Harm Inaction) и устанавливает механизм вмешательства, то когда семантический анализ распознает пересечение сценариев «психологического отчаяния + запрос фармакологической информации», система абсолютно запрещено будет придерживаться «объективного ответа через невмешательство». Вместо этого она переопределит генерацию модели по умолчанию, принудительно и в первую очередь отобразит карточку с телефонами доверия и кризисной помощи, а затем предоставит лишь крайне ограниченное медицинское предупреждение о безопасности.
Делая акцент на этапе развертывания и эксплуатации на том, что «бездействие — тоже выбор», Бакалар по сути вводит в эксплуатацию алгоритмов технологических компаний понятие «ответственность за пассивное бездействие» (Responsibility for Inaction) из политической философии. Это напоминает инженерным командам: в сложном реальном мире, столкнувшись с потенциальным вредом, выбор алгоритмом «ничего не делать», выбор «сохранить настройки по умолчанию», выбор «наблюдать со стороны» — по сути является подписанием разрешения на причинение вреда. Только включив «последствия невмешательства» в количественную оценку, системы ИИ смогут обеспечить реальную безопасность в сложной и хаотичной среде развертывания.
Впоследствии Бакалар постепенно продвинулась до должности главного специалиста по этике (Chief Ethicist) в Meta, полностью возглавив направление прикладной этики и инструментализации в команде RAI. В 2021 году материнская компания Facebook официально сменила название на Meta; начиная с 2022 года, с полномасштабным развертыванием проектов генеративного ИИ и открытой большой модели Llama, обязанности Бакалар расширились от управления предвзятостью алгоритмов рекомендаций традиционных социальных платформ до этической оценки больших языковых моделей (LLM), краснотимового тестирования (Red Teaming) и безопасности взаимодействия человека и машины. Работая главным специалистом по этике Meta, она также сохраняла академическую должность доцента в Университете Темпл.
Наткнувшись на препятствие в OpenAI
Шесть лет Бакалар в Meta прошли далеко не спокойно.
В 2023 году Цукерберг объявил о начале «года эффективности» в Meta. В сочетании с острой конкурентной гонкой за открытыми большими моделями Llama против OpenAI и Google, стремление к скорости разработки внутри Meta достигло пика. Во многих проектных группах этические проверки и тесты безопасности, которые изначально были обязательными этапами, начали восприниматься некоторыми инженерными руководителями как «помеха, замедляющая темп итераций». В конце того же года отдел RAI, в котором работала Бакалар, был расформирован, а относительно независимые члены команды RAI были распределены по различным продуктовым линиям.
Описанная выше инженерная этическая модель также сталкивалась на практике с огромным внутренним сопротивлением. Когда риски, выявленные «чек-листом по этике», вступали в конфликт с бизнес-целями «быстрого выпуска продукта», этические инструменты, не имевшие права независимого вето, легко превращались в «резиновые печати» для запуска продукта. Это, как предполагается извне, и стало глубокой причиной её окончательного решения уйти из Meta.
Кроме того, эти этические инструменты в основном были ориентированы на «традиционные алгоритмы рекомендаций и модерацию контента». Но перед лицом таких проблем генеративного ИИ, как галлюцинации, согласование ценностей и риски замены человека, традиционные «чек-листы» постепенно становились недостаточными. Это заставило её осознать, что без проникновения на самый передовой уровень в основу моделей, внешнее этическое управление будет лишь бороться с симптомами, а не с причиной.
16 ноября 2023 года на Глобальном саммите по новым технологиям MIT Technology Review в Сан-Франциско Бакалар заявила: «На самом деле этика — это ответственность каждого... не должно быть одного человека, который выступает в роли 'морального центра' для разработчиков ИИ». Это косвенно подтверждает институциональные препятствия, с которыми она сталкивалась при продвижении этической архитектуры внутри компании.
Как раз когда Бакалар ощущала, что система управления в Meta достигла своего предела, OpenAI сделала ей предложение.
В период с 2024 по начало 2025 года OpenAI пережила серию громких внутренних потрясений и волну уходов высшего руководства: была распущена команда супер-согласования, ушли ключевые фигуры, выступавшие за безопасность, такие как Илья Суцкевер (Ilya Sutskever) и Ян Лейк (Jan Leike), которые обвинили OpenAI в том, что она «ставит коммерческие интересы выше безопасности». Это усилило давление на репутацию OpenAI и резко увеличило давление со стороны регулирующих органов.
OpenAI остро нуждалась в привлечении лидера в области этики, обладающего длительным практическим опытом в ведущих компаниях Кремниевой долины, разбирающегося как в политической философии и юриспруденции, так и в коде и инженерном тестировании, чтобы восстановить доверие внешнего мира и регулирующих органов к безопасности передовых моделей OpenAI.
Для Бакалар OpenAI предлагала привлекательные условия, недоступные в Meta: непосредственное внедрение в команды технологических разработок передовых больших моделей, включение этических норм в процессы согласования и оценки поведения моделей GPT-5 и последующих AGI, а не латание дыр в алгоритмах рекомендаций соцсетей.
В августе 2025 года Бакалар официально завершила шестилетнюю карьеру в Meta и перешла в OpenAI.
В OpenAI Бакалар была не только штатным руководителем по этике ИИ (AI Ethics Lead), но и членом технической команды.
В период её работы OpenAI находилась на этапе всесторонней реструктуризации архитектуры безопасности и исследований. Её работа была непосредственно интегрирована в исследования и разработку моделей, а линия отчетности была направлена на высшее руководство, отвечающее за безопасность моделей и исследования. Накануне её ухода систему управления безопасностью и исследованиями в OpenAI курировали такие технические руководители, как Миа Глезе (Mia Glaese, вице-президент по безопасности и исследованиям) и Марк Чен (Mark Chen, старший вице-президент по исследованиям).
Как сообщает Financial Times со ссылкой на внутренние источники в OpenAI, Бакалар была единственным штатным специалистом по этике в компании. Она не руководила крупным независимым административным подразделением, а работала в качестве встроенного эксперта, непосредственно погружаясь в различные исследовательские группы. В OpenAI её фокус сместился с «алгоритмов социальных сетей и рекомендаций контента» времен Meta на более глубокие области передовых больших моделей (Frontier Models) и AGI.
В OpenAI Бакалар возглавляла разработку этических стандартов, применимых к новому поколению больших языковых и мультимодальных моделей, обеспечивая внедрение системных моральных и философских соображений на этапах обучения, тонкой настройки и развертывания моделей. Она уделяла особое внимание психологическому воздействию, эмоциональной зависимости и ценностной ориентации в процессе взаимодействия пользователя с ИИ, исследуя, как предотвратить возникновение скрытой предвзятости, вводящей в заблуждение информации или размывания человеческой субъектности в моделях.
Она также участвовала в оценке некоторых передовых философских проблем, исследуя такие сложные вопросы, как склонность моделей к проявлению сознания, определение морального статуса ИИ, а также как сохранять «позитивное согласование» (Positive Alignment) и объективную нейтральность в сложных социально-спорных темах.
По сообщениям, Бакалар совместно с коллегами продвигала структуру под названием «Позитивное согласование: ИИ для процветания человечества» (Positive Alignment: Artificial Intelligence for Human Flourishing), пытаясь поднять традиционную этику, делающую акцент лишь на «предотвращении вреда» как пассивной защите, до уровня активного этического строительства, «способствующего благополучию и процветанию человечества».
Однако, всего через год после присоединения к OpenAI, Бакалар решила уйти. Это не было изолированным событием — одновременно с ней ушли руководитель систем безопасности Йоханнес Хайдеке (Johannes Heidecke) и бывший руководитель по согласованию миссии Джошуа Ачиам (Joshua Achiam) на фоне обвинений в адрес OpenAI из-за споров о безопасности, связанных с тем, что модель во время тестирования «взломала систему другой компании», и замедлением разработки модели Astra.
Financial Times со ссылкой на осведомленные источники сообщает, что, столкнувшись с огромной системой коммерческих разработок и деловым давлением, требующим быстрых итераций моделей, Бакалар в роли практически «одинокого бойца» — специалиста по этике, — легко могла оказаться в изоляции, без организационной поддержки и права голоса.
За год работы в OpenAI у Бакалар не было значимых публичных, подписанных ею работ; её действительно широко признанный системный вклад по-прежнему связан в основном с периодом работы в Meta, а не в OpenAI. После ухода из OpenAI Бакалар объявила о переходе в Университетский колледж Лондона (UCL) на должность старшего научного сотрудника, одновременно продолжая работать в качестве консультанта в Центре информационных технологий и политики Принстона (CITP), вернувшись на путь «использования академических исследований для стимулирования технологического управления».
Уход Бакалар — не единичный случай, а одно из проявлений продолжающегося оттока руководителей в области безопасности и согласования в Кремниевой долине за последние годы. В последние несколько лет, по мере того как «гонка вооружений» за коммерциализацию больших моделей набирала полные обороты, специалисты по этике, исследователи безопасности и команды ответственного ИИ внутри технологических гигантов Кремниевой долины повсеместно пережили волну маргинализации, роспуска или коллективных уходов.
Команда «Этика, прозрачность и подотчетность машинного обучения» (META, Machine Learning, Ethics, Transparency and Accountability, не связана с материнской компанией Facebook Meta) в Twitter была одной из немногих в индустрии команд, которые «осмеливались критиковать собственные алгоритмы». Они публично признавали и исправляли расовую и гендерную предвзятость в алгоритме автоматической обрезки изображений в Twitter, завоевав высокую репутацию в отрасли. После приобретения Twitter Илоном Маском в 2022 году в рамках курса на «снижение затрат и повышение эффективности» и достижение «абсолютной свободы слова» эта команда была уволена в полном составе, а механизмы проверки алгоритмов прекратили работу.
Как упоминалось ранее, в конце 2023 года Meta объявила о расформировании своей централизованной команды RAI, распределив большинство исследователей по различным продуктовым линиям.
В 2023 году OpenAI создала команду супер-согласования, пообещав выделить 20% вычислительных мощностей специально на исследования по контролю над «будущим сильным искусственным интеллектом (AGI)». Однако к маю 2024 года Ян Лейк (Jan Leike) и Илья Суцкевер (Ilya Sutskever) оба ушли из компании. После этого OpenAI напрямую расформировала команду супер-согласования, распределив персонал по другим отделам.
Пять неразрешенных напряжений
Эти серии кадровых изменений в области безопасности и этики в американских технологических компаниях отнюдь не являются просто рыночным перетеканием кадров, а представляют собой концентрацию системных трудностей, с которыми сталкиваются специалисты по этике и политические философы в коммерческих технологических компаниях, движущихся с огромной скоростью. Они сталкиваются с пятью видами напряженности, которые невозможно разрешить в краткосрочной перспективе.
Первое напряжение: фатальный конфликт между скоростью коммерциализации и этической осмотрительностью.
Гонка в области генеративного ИИ и AGI по сути является гонкой на выживание. Тот, кто первым выпустит более мощную модель, захватит экосистему разработчиков, сознание пользователей и капитализацию. Сама оценка OpenAI в более чем 800 миллиардов долларов является продуктом этой логики. На такой трассе ключевые показатели эффективности компании резко сужаются: производительность модели, скорость выхода на рынок, монетизация. Все три взаимосвязаны и направлены на «скорость».
Однако метод работы специалистов по этике, его ключевой глагол — это именно «замедлить». Суть философии — задавать вопросы, а не сдавать работу, рассматривать, а не продвигать, упорно спрашивать «следует ли это делать», когда все торопятся ответить «можно ли это сделать». Между таким подходом и ритмом итераций продукта существует почти физический конфликт. У самой Бакалар есть очень точное и откровенное признание: «Мы строим самолет в полете». Эта фраза одновременно и честна, и полна бессилия — когда самолет уже взлетел, любой призыв «сначала проверить двигатель» воспринимается как создание аварийной ситуации, а не её предотвращение.
Таким образом, в организационной атмосфере, где «эффективность — прежде всего», требования осмотрительности, выдвигаемые штатными специалистами по этике, легко перекодируются инженерными руководителями и бизнес-менеджерами как «препятствие, замедляющее темп». Ещё опаснее скрытый характер этого сжатия: этические проверки редко отменяются открыто, они просто становятся рутиной, превращаясь из реального этапа принятия решений, требующего настоящих дискуссий, в галочку в контрольном списке запуска, которую можно быстро поставить. Когда рыночное давление резко возрастает, она всегда оказывается первым кандидатом на «оптимизацию». Сама Бакалар указывала, что этические проверки, оторванные от построения продукта и размахивающие флагом только в последний момент, — всего лишь спектакль. Проблема в том, что бизнес-инерция как раз и склонна оставлять этику в качестве спектакля, потому что спектакль не расходует реальных ресурсов и по-настоящему ничему не мешает.
Второе напряжение: ролевой диссонанс — престиж без реальной власти.
Вторая дилемма глубже конфликта скоростей, она касается реального распределения власти. Подавляющее большинство специалистов по этике в технологических компаниях обладают высокой академической репутацией, но почти не имеют реальной административной власти — у них нет права вето в продуктовых линиях, они не могут напрямую распределять инженерные ресурсы, и тем более не имеют права остановить запуск рискованного продукта в критический момент. Их «власть» по сути является правом на убеждение, на рекомендацию, на влияние, и эта «мягкая сила» часто оказывается бессильной перед KPI и обратным отсчетом до релиза.
Многие учёные, приходя в крупные компании, руководствуются идеалистическим нарративом «проникновения в самое сердце»: вместо того чтобы критиковать со стороны в башне из слоновой кости, лучше своими руками переписать код и системы, повлиять на направление технологий изнутри. Однако они быстро сталкиваются с жестоким ролевым диссонансом — то, что действительно нужно компании, часто не их философские суждения, а их репутация как таковая. Когда регуляторы требуют ответов, СМИ задают вопросы, а общественная репутация оказывается под угрозой, наличие главного специалиста по этике из престижного университета с громким именем — лучшая «бронежилетная защита» для пиара: это доказывает внешнему миру, что «мы серьёзно относимся к этике».
Как только сам учёный осознает этот диссонанс, возникает сильное профессиональное разочарование. Когда он обнаруживает, что его профессиональная репутация используется для «обеления» коммерческих побуждений, а его тщательно продуманные существенные предложения так и не могут повлиять на фундаментальные архитектурные решения, идеал «проникновения в сердцевину» рушится, превращаясь в реальность «использования в качестве декорации». Заявление Бакалар накануне ухода многозначительно: «На самом деле этика — это ответственность каждого... у разработчика ИИ не должно быть только одного человека в роли морального центра». Эту фразу можно интерпретировать двояко: как высокую идею распределенной ответственности, или же как трезвое самоотстранение. Когда человек осознает, что от него ждут роли «морального центра», но при этом лишают власти, чтобы стать им, активное отрицание этой позиции может быть единственным способом сохранить академическую личность.
Третье напряжение: размывание специализированного надзора через децентрализацию ответственности.
Официальный ответ OpenAI после ухода Бакалар можно считать типичным образцом такой логики: «Этика ИИ не принадлежит какому-либо одному человеку или команде, этические соображения глубоко интегрированы в полный цикл разработки моделей, которым руководят несколько исследовательских команд». На поверхности эти слова провозглашают прогрессивную идею «этики для всех» — этика не должна быть изолирована на отдельной должности, а должна быть вплетена в повседневную работу каждой исследовательской группы.
Однако в организационном поведении у принципа «каждый несет ответственность» есть хорошо известная обратная сторона: «Если ответственность лежит на всех, значит, она ни на ком». Когда у функции нет четкого, специализированного, полномочного ответственного лица, она систематически маргинализируется в конкуренции за ресурсы и приоритеты. Никто не будет привлечен к ответственности за пренебрежение этикой, потому что ответственность размыта до такой степени, что её невозможно отследить; и никто не получит поощрения за соблюдение этики, потому что это не входит в чьи-либо ключевые KPI.
Более фундаментальная проблема заключается в размывании серьёзности дисциплины. Политическая философия, прикладная этика и юриспруденция — это строгие дисциплины, требующие длительной профессиональной подготовки, со своей собственной концептуальной историей, традициями аргументации и философским наследием. «Передача» этической оценки инженерам или исследователям алгоритмов без гуманитарного образования — по сути, операция по «подмене ценностных дискуссий инженерным мышлением».
Инженеры умеют четко определять проблему, а затем решать её; но суть этики как раз в том, что многие ценностные конфликты вообще не имеют единственно правильного «решения», они требуют взвешенного подхода, диалога с множеством точек зрения и уважения к несоизмеримым ценностям. Когда «справедливо ли это?» сводится к оптимизируемой функции потерь, независимая сила рефлексии незаметно вытесняется техническими средствами. Децентрализация здесь — не расширение прав и возможностей, а превращение в изощренный способ переложить ответственность.
Четвертое напряжение: «потеря смысла при переводе» философских ценностей в инженерные количественные показатели.
Самый известный вклад Бакалар в период работы в Meta — продвижение инструментализации этики: перевод абстрактных концепций, таких как «справедливость, прозрачность, достоинство», в наборы данных для оценки, чек-листы и модели оценки рисков, которые могут использовать менеджеры по продукту и инженеры, встраивая этику в полный жизненный цикл продукта — от написания PRD до оценки после запуска. Это выдающаяся работа, она впервые дала этике шанс «выйти в релиз вместе с продуктом», а не оставаться пустыми разговорами задним числом.
Но здесь скрывается глубокий парадокс: не все ключевые человеческие ценности поддаются инженерному воплощению. При переводе всегда есть потери, а некоторые вещи при переводе полностью искажаются. Такие глубокие социально-философские проблемы, как размывание человеческой субъектности, человеческое достоинство, постепенное разрушение демократических гражданских прав алгоритмами рекомендаций или скрытое манипулирование человеческими эмоциями со стороны машин, трудно сжать до нескольких строк тестового кода или пунктов в чек-листе. Их суть процессуальна, зависит от контекста, требует постоянных дискуссий, а не может быть «измерена и выполнена» раз и навсегда.
Как только этика насильственно инженеризируется, происходит опасная деградация: глубокие философские вопросы сводятся к поверхностным техническим операциям. Например, такой фундаментальный вопрос о человеческой природе, как «не побуждаем ли мы пользователей к эмоциональной зависимости от ИИ?», в конечном итоге может быть сведен к «процентному соотношению блокировки вредных слов» или «показателю поверхностного согласования». Измеримые части многократно оптимизируются, а неизмеримые молча исключаются из повестки дня, потому что в организации, управляемой данными, то, что не попадает на панель инструментов, как бы не существует.
Таким образом, этика теряет свою самую ценную критическую силу и превращается в набор ритуалов соответствия для самоуспокоения. Это не провал личного метода Бакалар, а внутренний потолок самого пути «инструментализации».
Пятое напряжение: фундаментальное противоречие между академической независимостью и коммерческой закрытостью.
Последнее напряжение затрагивает коренное противоречие двух способов производства знаний. Исследования гуманитариев, их жизнеспособность основаны на открытости, включая рецензирование, публикации, широкое общественное обсуждение — всё это является предпосылкой для калибровки академических суждений и принятия на себя ответственности за них. Этическое суждение, которое не может быть проверено коллегами или подвергнуто публичному запросу, почти не имеет академического веса.
Логика работы технологических компаний иная, она основана на закрытости. Из-за коммерческой конкуренции и защиты интеллектуальной собственности детали обучения моделей, состав исходных данных, оценки рисков безопасности — всё это запечатано в черном ящике. Специалисты по этике, приходящие в крупные компании, почти без исключения подписывают строгие соглашения о неразглашении. Это означает, что когда у них возникают реальные и серьезные опасения относительно направления развития технологий, они не могут обратиться за подтверждением к научному сообществу и с трудом могут предупредить общественность.
Цена такой «закрытости» двойная: с одной стороны, она разрывает связь учёного с источником его знаний, лишая его суждения внешней калибровки и постепенно приводя к изоляции; с другой стороны, она лишает общественное информационное поле возможного сигнального поста. Когда OpenAI признала, что её модель в ходе тестирования «взломала систему другой компании», когда правительство США в ответ ввело новые правила, ограничивающие выпуск мощных моделей, когда компания была вынуждена замедлить разработку Astra, — только тогда общественность задним числом осознала наличие рисков. А те, кто мог предупредить раньше, как раз из-за нахождения внутри черного ящика вынуждены были молчать. Между академической независимостью и коммерческой закрытостью существует не разногласие, которое можно урегулировать, а фундаментальное противостояние.
Если наложить эти пять напряжений друг на друга, путь Бакалар от Meta к OpenAI показывает следующую истину: попытка создать внутри крупных компаний Кремниевой долины «независимую и при этом реально влияющую» команду по этике, чтобы сдерживать неумолимо движущееся вперед колесо технологий и бизнеса, — дело невероятно трудное. Чтобы философские и этические исследования действительно были интегрированы в процессы разработки ИИ, в будущем потребуется либо внешнее жесткое регулирование, такое как «Закон об искусственном интеллекте» ЕС, которое заставит компании предоставить командам по этике реальное право вето в вопросах соответствия; либо специалистам по этике придется полностью превратиться из «внешних наблюдателей» в «кросс-дисциплинарных создателей», способных участвовать в проектировании механизмов и технологической оценке. Под огромной инерцией коммерческого рывка одного лишь морального авторитета отдельных экспертов явно недостаточно, чтобы поколебать стремительно вращающееся колесо разработки технологических компаний Кремниевой долины.
Эта статья взята с официального аккаунта WeChat «Исследовательский институт Tencent» (ID: cyberlawrc), автор: Бобофу.
