Примечание редактора: За несколько часов до того, как OpenAI объявила о соглашении с Пентагоном о сотрудничестве в области ИИ, Пентагон разорвал сотрудничество с Anthropic, сославшись на настойчивость последней в соблюдении условий безопасности. Впоследствии генеральный директор Anthropic Дарио Амодеи направил сотрудникам внутренний меморандум с необычайно резкой формулировкой, прямо указав, что большинство заявленных OpenAI «механизмов безопасности» являются лишь «спектаклем безопасности», и подвергнув сомнению её позицию по вопросам автономного оружия и массового наблюдения.
В этом письме объёмом около 1600 слов Амодеи не только раскрыл некоторые детали переговоров обеих сторон с американской оборонной системой, но и прямо указал на генерального директора OpenAI Сэма Олтмана, обвинив его в сокрытии реальной структуры сотрудничества через пиар-нарративы. Этот спор вокруг военного применения ИИ, красных линий безопасности и политических отношений выводит на передний план разногласия между двумя крупнейшими ИИ-компаниями Кремниевой долины.
Далее следует оригинальный текст:
Я хочу предельно ясно высказаться о текущей информации, распространяемой OpenAI, и о лицемерии, присутствующем в этой информации. Это их реальная практика, и я хочу, чтобы все это clearly видели.
Хотя нам многое неизвестно об их контракте с Военным департаментом (ВД) (возможно, даже они сами не до конца в курсе, поскольку условия контракта, вероятно, довольно расплывчаты), можно с уверенностью утверждать следующее: исходя из публичных заявлений Сэма Олтмана и ВД (конечно, для окончательного подтверждения необходимо увидеть текст контракта), их модель сотрудничества大致 такова: сама модель не имеет ограничений на использование на юридическом уровне, то есть так называемое «все законное использование»; при этом устанавливается так называемый «слой безопасности». По моему мнению, этот «слой безопасности» по сути является механизмом отказа модели, используемым для阻止 выполнения某些 задач или участия в某些 приложениях.
Так называемый «слой безопасности» также может относиться к схеме, которую пытались продать нам партнёры (например, Palantir, коммерческий партнёр Anthropic при работе с клиентами из правительства США). Они предложили классификатор или систему машинного обучения, утверждая, что она позволяет пропускать одни приложения и блокировать другие. Кроме того, есть признаки того, что OpenAI будет направлять сотрудников (FDE, инженеры передового развёртывания) для надзора за использованием модели, чтобы предотвратить неправомерное применение.
Наша общая оценка такова: эти схемы не полностью бесполезны, но в контексте военных применений примерно 20% — это реальная защита, а 80% — спектакль безопасности.
Корень проблемы в следующем: то, используется ли модель для массового наблюдения или полностью автономных систем оружия, часто зависит от более широкого контекста. Сама модель не знает, в какой системе она находится, она не знает, находится ли человек «в контуре» (human-in-the-loop, что является ключевым моментом в проблеме автономного оружия); она также не знает, каков источник анализируемых данных. Например, являются ли это внутренние данные США или данные из-за рубежа, данные, предоставленные компаниями с согласия пользователей, или данные, приобретённые через серые каналы и т.д.
Сотрудники, работающие в сфере безопасности, уже давно поняли: механизмы отказа модели ненадёжны. Атаки взлома (jailbreak)十分常见, часто достаточно просто солгать модели о характере данных, чтобы обойти эти ограничения.
Здесь также есть ключевое отличие, усложняющее проблему по сравнению с обычной защитой безопасности: определить, осуществляет ли модель кибератаку, часто можно по входным и выходным данным; но определить характер атаки и конкретный контекст — это совершенно другая задача, и именно такая способность к оценке здесь и требуется. Во многих случаях эта задача极其困难,甚至根本不可能完成.
С «слоем безопасности», который продавал нам Palantir (я suspect, они предлагали类似 схему и OpenAI), ситуация ещё хуже. Наша оценка такова, что это почти полностью спектакль безопасности.
Базовая логика Palantir, похоже, такова: «В вашей компании, вероятно, есть недовольные сотрудники, вам нужно дать им что-то, чтобы их успокоить, или сделать происходящее для них невидимым. Именно это мы и предлагаем.»
Что касается вопроса прямого надзора сотрудников Anthropic или OpenAI за развёртыванием, мы также обсуждали это internally несколько месяцев назад при расширении Политики допустимого использования (AUP) в условиях засекреченной среды. Вывод был非常明确: такой способ可行 лишь в очень ограниченном number случаев. Мы будем стараться изо всех сил, но это ни в коем случае не является основным гарантийным механизмом, на который можно положиться, особенно в засекреченной среде. Кстати, мы действительно уже делаем это, насколько это возможно, в этом мы не отличаемся от OpenAI.
Поэтому я заявляю: меры, принятые OpenAI, в основном не решают проблему.
Причина, по которой они принимают эти схемы, а мы нет, заключается в следующем: их заботит то, как успокоить сотрудников, а мы genuinely заботимся о предотвращении злоупотреблений.
Эти схемы не完全 бесполезны, мы сами используем некоторые из них, но их远远 недостаточно для соответствия должным стандартам безопасности. При этом ВД явно относится к OpenAI и к нам по-разному.
Фактически, мы пытались включить в контракт некоторые условия безопасности, аналогичные тем, что у OpenAI (в качестве дополнения к AUP. По нашему мнению, AUP является более важной частью), но ВД отказался. Соответствующие доказательства находятся в цепочке обсуждений по email в то время. Поскольку сейчас у меня много дел, я попрошу коллегу later найти конкретные формулировки. Поэтому утверждение, что «условия OpenAI были предложены нам, а мы отказались», не соответствует действительности;同样, утверждение, что «условия OpenAI能够有效阻止大规模国内监控或完全自主武器», также не соответствует действительности.
Кроме того, заявления Сэма и OpenAI также подразумевают, что предложенные нами красные линии, а именно полностью автономное оружие и массовое внутреннее наблюдение, сами по себе уже являются незаконными, поэтому соответствующая политика использования излишня. Это заявление почти полностью совпадает с заявлением ВД и выглядит как заранее согласованное.
Но это не соответствует действительности.
Как мы объясняли вчера в заявлении, ВД действительно обладает полномочиями проводить внутреннее наблюдение. В прошлом, в эпоху до ИИ, эти полномочия имели относительно ограниченное воздействие, но в эпоху ИИ их значение полностью изменилось.
Для примера: ВД может на законных основаниях массово закупать личные данные граждан США у поставщиков (эти поставщики обычно получают право перепродажи через скрытые условия согласия пользователей), а затем использовать ИИ для массового анализа этих данных с целью создания профилей граждан, оценки политических взглядов, отслеживания перемещений в реальном пространстве, они могут получать данные, включая GPS-информацию и т.д.
Ещё один момент, на который стоит обратить внимание: ближе к концу переговоров ВД предложил, что примет все наши остальные условия, если мы удалим из контракта一条具体ную формулировку о «массовом анализе приобретённых данных» (analysis of bulk acquired data). А это как раз была единственная статья в контракте, точно соответствующая сценарию, которого мы больше всего опасались. Мы сочли это очень подозрительным.
В вопросе автономного оружия ВД заявляет, что «человек в контуре» является法律要求. Но это не так. На самом деле это всего лишь политика Пентагона времён администрации Байдена, требующая обязательного участия человека в принятии решений о применении оружия. И эту политику может в одностороннем порядке изменить нынешний министр обороны Пит Хегсет — это именно то, чего мы realmente опасаемся. Следовательно, с практической точки зрения, это не является реальным ограничением.
Многочисленные пиар-заявления OpenAI и ВД по этим вопросам либо являются ложью, либо намеренно создают путаницу. Эти факты揭示了一种行为模式, которую я уже много раз видел в Сэме Олтмане. Я хочу, чтобы大家能够识别它.
Сегодня утром он сначала заявил, что согласен с красными линиями Anthropic, с целью показать поддержку нам, чтобы thus отобрать часть заслуг, и избежать критики, когда они接手 этот контракт. Он также попытался изобразить себя в роли того, кто希望 «установить единые стандарты контрактов для всей отрасли» — то есть миротворца и посредника сделок.
Но за кулисами он подписывает контракт с ВД, готовясь заменить нас в тот момент, когда нас отметят как риск для供应链.
При этом он должен确保, что этот процесс не выглядит как «тот случай, когда Anthropic придерживается красных линий, а OpenAI放弃底线». Ему это удаётся, потому что:
Во-первых, он может подписать все те меры «спектакля безопасности», от которых мы отказались, а ВД и его партнёры готовы cooperate, упаковав эти меры достаточно убедительно, чтобы успокоить его сотрудников.
Во-вторых, ВД готов принять некоторые выдвигаемые им условия, которые当初我们提出同样内容时却遭到了拒绝.
Именно эти два момента позволяют OpenAI达成协议, а нам — нет.
Настоящие причины, по которым ВД и администрация Трампа не любят нас, таковы: мы не делали политических взносов Трампу (а OpenAI и Грег Брокман сделали много); мы не восхваляли Трампа как диктатора (а Сэм делал это); мы поддерживаем регулирование ИИ, что противоречит их политической повестке; мы выбирали говорить правду по многим вопросам политики в области ИИ (например, о проблеме замещения рабочих мест ИИ); и, мы действительно придерживались красных линий, а не участвовали с ними в создании «спектакля безопасности» для успокоения сотрудников.
Сэм сейчас пытается представить всё это как: мы с нами трудно合作, мы неуступчивы, нам не хватает гибкости и т.д. Я хочу, чтобы大家认识到, что это классический пример газлайтинга (gaslighting).
Такие расплывчатые утверждения, как «с кем-то трудно合作», часто используются для сокрытия真正难看的原因 — тех, что я только что упомянул: политические взносы, политическая лояльность и спектакль безопасности.
Каждый должен понять это и опровергать этот нарратив в私下与 OpenAI 员工交流时.
Другими словами, Сэм ослабляет нашу позицию, принимая позу «поддержки нас». Я хочу, чтобы大家清醒но это осознавали: он, ослабляя общественную поддержку нас, облегчает правительству наказание нас. Более того, я подозреваю, что он может даже втайне подливать масло в огонь, хотя у меня сейчас нет прямых доказательств этого.
На уровне общественности и СМИ, эта риторика и манипуляция, кажется, не сработали. Большинство считает сделку OpenAI с ВД вызывающей警惕,甚至令人不安, а нас воспринимает как坚持原则的一方 (кстати, мы сейчас уже на втором месте в рейтинге загрузок App Store).
【Прим.: Впоследствии Claude поднялся на первое место в App Store.】
Конечно, этот нарратив сработал на некоторых глупцах в твиттере, но это не важно. Что меня действительно беспокоит:确保 он не окажет влияния внутри сотрудников OpenAI.
Due to эффекту отбора, они изначально являются группой людей, которых относительно легко убедить. Но по-прежнему важно опровергать эти нарративы, которые Сэм сейчас впаивает своим собственным сотрудникам.
