Автор: Ben Thompson
Перевод: Shenchao TechFlow
Анонс от Shenchao: Новая модель Fable от Anthropic была экстренно остановлена правительством США всего через два месяца после выпуска. На поверхности это «нарушение безопасности», но на самом деле это обнажило двойную войну между AI-лабораториями, правительством и индустрией программного обеспечения. Компания, которая продаёт «безопасность» как свой козырь, превращает нарратив о безопасности в коммерческий барьер, а их настоящая цель — перехватить пользовательские данные у таких гигантов, как Microsoft.
Я понимаю позицию скептиков, которые считают, что публичные заявления Anthropic — особенно формулировки при выпуске моделей — это распространение паники ради маркетинга. Два месяца назад Anthropic анонсировала выпуск Mythos Preview, заявив, что эта модель слишком опасна для публичного доступа, особенно из-за её мощных возможностей в кибербезопасности. А затем, два месяца спустя, компания публично выпустила Fable — версию Mythos с различными предохранительными ограничениями.
По моему ограниченному опыту использования, Fable действительно выдающаяся модель. Сейчас, помимо производительности в программировании, объективно оценить модели уже сложно, но субъективные ощущения есть. Мне показалось, что взаимодействие с Fable исключительно впечатляющее; она заставляет другие модели, включая GPT 5.5 и Opus 4.8, выглядеть маленькими и глупыми. Подобное чувство у меня было всего дважды: с GPT-4 и с Grok 4 — оба представляли новое поколение по масштабу и сложности базовой модели. Я считаю, что Fable происходит из нового претрейнинга и является первой в новом поколении.
Поэтому я вполне допускаю, что Fable/Mythos действительно сильнее в выявлении и использовании проблем безопасности, и осторожность Anthropic при выпуске оправдана. Но проблема публичного релиза модели в том, что ограничения можно обойти, и, судя по всему, вскоре после выпуска это и произошло.
Anthropic снова противостоит правительству США
Далее события развивались не совсем ясно. Anthropic пишет в своём блоге:
Правительство США, ссылаясь на полномочия в области национальной безопасности, издало распоряжение об экспортном контроле, приостанавливающее доступ всех иностранных граждан к Fable 5 и Mythos 5 как на территории США, так и за её пределами, включая иностранных сотрудников Anthropic. Фактический эффект этого распоряжения заключается в том, что мы были вынуждены внезапно отключить Fable 5 и Mythos 5 для всех клиентов, чтобы обеспечить соответствие требованиям. Доступ ко всем другим моделям Anthropic не затронут.
Мы получили распоряжение правительства сегодня в 17:21 по восточному времени. В письме не было предоставлено конкретных деталей о проблемах национальной безопасности. Мы понимаем, что правительство считает, что был обнаружен метод обхода или «взлома» Fable 5. Мы изучили демонстрации использования этой конкретной техники для выявления небольшого количества известных мелких уязвимостей. Эти уязвимости выглядят относительно простыми, и мы обнаружили, что другие общедоступные модели также способны их обнаруживать без необходимости обхода.
Anthropic далее утверждает, что не универсальные взломы неизбежны и имеют ограниченный масштаб, и нет доказательств существования универсального взлома; а обнаруженный взлом, похоже, был сообщён Amazon, что примечательно, поскольку Amazon является как инвестором Anthropic, так и основным провайдером услуг логического вывода компании. В момент написания этой статьи руководство Anthropic находится в Вашингтоне, округ Колумбия, пытаясь разрешить ситуацию, которую они настаивают, является недопониманием, а чиновники Белого дома намекают, что это безразличие руководства компании к законным проблемам национальной безопасности.
Учитывая множество спорных фактов, мне нечего добавить к текущему конфликту; но я не удивлён, что конфликт происходит: я уже объяснял в статье «Anthropic и выравнивание», что конфликт между правительством США и Anthropic неизбежен. В связи с этим, те, кто считает, что Mythos ещё недостаточно мощный, чтобы правительство предприняло столь жёсткие меры, упускают суть: если сейчас недостаточно мощный, то следующим будет, или следующим после него, особенно учитывая, что модели становятся всё более полезными в создании своих преемников.
Однако это поднимает другой вопрос — вопрос, который, кажется, подтверждает точку зрения скептиков: если Mythos настолько опасен, зачем вообще выпускать Fable, зачем идти против правительства, делая то, что вы якобы хотите? На самом деле, я считаю поведение Anthropic вполне понятным; уникальность компании заключается в том, как она оправдывает эти действия, и именно эти оправдания дают как скептикам топливо, так и Anthropic — её магию.
Экономическая неизбежность
В первые годы развития ИИ наибольшая экономическая ценность доставалась вычислительным мощностям, и причина очевидна: предложения не хватало, чтобы удовлетворить спрос, что означало взлёт цен; наибольшую выгоду получили Nvidia, TSMC и производители памяти (Hynix, Samsung и Micron). Тем временем Anthropic и OpenAI вместе потеряли десятки миллиардов долларов на создание передовых моделей, которые после выпуска подвергались дистилляции и коммодитизации в рамках open-source моделей, в основном из Китая.
Это представляет пессимистичный сценарий для лабораторий — они никогда не смогут покрыть затраты, потому что их дифференциация мимолётна, а бесплатные альтернативы становятся «достаточно хорошими» — я считаю это разумным. В мире, где модели взаимозаменяемы, модели становятся товаром, а большая часть стоимости перетекает в другие места. Сейчас это вычислительные мощности, но со временем, когда у нас будет достаточно мощностей, самым ценным местом в цепочке создания стоимости будет то место, которое всегда было самым ценным: владение точкой контакта с пользователем.
Таким образом, для передовых лабораторий существует экономическая необходимость приблизиться к пользователю, и это мне всегда было ясно. Если вы владеете точкой контакта с пользователем, то у вас есть значимая привязка, а лучший способ владеть точкой контакта — стать холстом для всего, что им нужно делать. Это, в свою очередь, означает, что передовые лаборатории движутся к конфликту с компаниями-разработчиками ПО: именно ПО владеет точками контакта с пользователем, и долгосрочный интерес передовых лабораторий не просто стать товарным вкладом для ПО, а напрямую заменить ПО.
Тем временем компании-разработчики ПО изо всех сил пытаются сделать обратное. Сатья Наделла в статье на X изложил своё видение того, как компании должны строить на основе моделей:
Каждая компания должна строить то, что я называю человеческим капиталом и токен-капиталом. Человеческий капитал включает знания, суждения, отношения, изобретательность и распознавание паттернов её сотрудников, а токен-капитал — это ИИ-возможности, которые компания строит и которыми владеет. Важно, что по мере роста токен-капитала человеческий капитал не становится менее ценным. Он становится только более ценным! Я верю, что человеческая инициатива будет движущей силой роста токен-капитала. Люди будут ставить амбициозные цели, соединять точки в разных областях, строить отношения и определять самые важные паттерны. Без человеческого руководства ваши вычислительные мощности простаивают.
Это означает, что настоящая возможность заключается не в выборе лучшей модели, а в построении на модели обучающих циклов, позволяющих человеческому и токен-капиталу расти по принципу сложного процента. Вы можете передать на аутсорсинг задачу или даже работу, но вы никогда не можете передать на аутсорсинг своё обучение. Будущее компании — это возможность заставить это обучение расти по принципу сложного процента между людьми и ИИ. Это требует нового архитектурного подхода, позволяющего каждому бизнесу строить системы агентов, которые улучшаются со временем, сохраняя при этом контроль над своей интеллектуальной собственностью. Компании должны иметь возможность заменять «универсальные» модели, не теряя «экспертизы ветеранов компании», встроенной в их обучающиеся системы. Это ключевой «тест» вашего контроля и суверенитета в будущую эпоху.
Наделла начал это видение с предупреждения:
Никто из нас не хочет видеть мир, в котором каждая компания в каждой отрасли отдаёт ценность нескольким всепоглощающим моделям. Если вся ценность будет извлечена лишь несколькими моделями, политическая экономика этого просто не потерпит. Общество не даст согласия на будущее ИИ, которое опустошает целые отрасли.
Вспомните, что произошло на первом этапе глобализации, когда целые промышленные экономики были опустошены аутсорсингом. На поверхности цифры ВВП выглядели хорошо, но перемещение было реальным, и последствия ощущаются до сих пор. Давайте не будем переносить эту динамику в эпоху ИИ, позволяя нескольким системам ИИ захватывать всю экономическую отдачу, в то время как целые отрасли обнаруживают, что их знания коммодитизируются у них под носом.
Проблема этой аналогии в том, что глобализация действительно произошла, промышленные экономики действительно были опустошены. Это, возможно, не предупреждение, а пророчество; неудивительно, что Наделла бьёт тревогу, потому что Microsoft может оказаться одной из жертв. Точно так же экономическая необходимость для производителей моделей состоит именно в том, чтобы достичь этого.
Неизбежность данных
Эти модели — даже Mythos — ещё не достигли этой точки. Им нужно, помимо больших вычислительных мощностей, больше и лучше данных. Улучшение моделей всё чаще происходит за счёт обучения с подкреплением; часть этого можно синтезировать, но самый мощный рычаг для передовых лабораторий — это использование в реальном мире.
Я считаю, что это основная причина, по которой и OpenAI, и Anthropic предлагают значительно субсидируемые планы подписки. SemiAnalysis недавно подсчитал, что план за 200 долларов даёт вам доступ к токенам Claude на сумму 8000 долларов и к токенам Codex на сумму 14000 долларов. Конечно, обе компании борются за пользователей и долю ума разработчиков, но они также борются за доступ к данным реального использования для улучшения моделей.
Anthropic сделала большую ставку на Fable, объявив, что будут хранить все используемые данные в течение 30 дней, даже для корпоративных планов, которые ранее обещали нулевое хранение данных. Компания заявила, что не будет использовать эти данные для обучения, но они не установили никаких гарантий, что в будущем не станут этого делать (например, храня данные у третьей стороны). Если это изменение политики (когда Fable будет восстановлен) не приведёт к значительному оттоку клиентов, я подозреваю, что вопрос лишь во времени, когда они начнут использовать данные: для их конечной цели они слишком ценны.
Также обратите внимание на благотворный цикл продвижения к точке контакта с пользователем: чем больше рабочих процессов выполняется непосредственно с помощью Claude или Codex, тем больше данных получает каждая компания для обратной связи в обучении, что делает их продукты мощнее и полезнее, расширяет количество рабочих процессов, которые они могут обслуживать, и расширяет их доступ к данным.
Наделла в своей статье подчеркнул важность этих данных, но, естественно, считает, что они должны быть независимы от моделей:
Компаниям необходимо превращать рабочие процессы, предметные знания и накопленные суждения в системы ИИ, которые улучшаются с каждым использованием. Частные оценки должны фиксировать, действительно ли модель улучшается по результатам, важным для бизнеса (а не только по внешним бенчмаркам!). Частные среды обучения с подкреплением должны позволять модели становиться сильнее на реальных траекториях внутри организации. Её база знаний делает институциональную память доступной для запросов, а использование токенов — более эффективным.
Этот цикл становится новой интеллектуальной собственностью компании. Я рассматриваю его как машину для восхождения на гору. В отличие от большинства активов, он работает по принципу сложного процента. Каждый улучшенный рабочий процесс генерирует лучший обучающий сигнал, что ускоряет накопление неявных знаний, уникальных для компании. Компании, которые построят это раньше, будут иметь преимущество, которое будет трудно скопировать, независимо от возможностей любой новой отдельной модели.
Однако, что если компании, которые сейчас подчиняются политике данных Anthropic, получают лучшие результаты? Или если существующие компании сопротивляются, оставляя возможность новым компаниям — или самим производителям моделей — победить их на рынке? Anthropic действительно проверяет решимость, о которой призывает Наделла.
Претензия на власть
Политика хранения данных вокруг Fable/Mythos даже не была самой спорной частью релиза. Вместо этого Anthropic при выпуске заявила, что если Fable будет использоваться для разработки LLM, её производительность будет тихо снижена; в системной карточке было написано:
Мы также добавили защитные меры, связанные с разработкой передовых LLM. Как обсуждалось в разделе 6.1 нашего отчета о рисках за февраль 2026 года, мы обеспокоены рисками ускорения общего темпа развития ИИ, хотя мы всё ещё не уверены в серьёзности этих рисков. В частности, наша озабоченность заключается — как мы писали тогда — в «ускорении разработки другими разработчиками ИИ мощных систем ИИ, сопоставимых по рискам с нашими системами — но не обязательно с соответствующими защитными мерами».
Учитывая недавнюю способность моделей ускорять собственную разработку, мы внедрили новые меры вмешательства, ограничивающие эффективность Claude при запросах, связанных с разработкой передовых LLM (например, создание конвейера предварительного обучения, инфраструктуры распределённого обучения или проектирование ML-ускорителей). Использование Claude для разработки конкурирующих моделей уже нарушает наши условия обслуживания, но принудительное применение этого ограничения с помощью защитных мер позволяет избежать ускорения тех, кто наиболее готов нарушить эти условия.
В отличие от наших вмешательств в области кибербезопасности, биохимии и попыток дистилляции, эти защитные меры невидимы для пользователя. Fable 5 не будет откатываться к другой модели. Вместо этого защитные меры будут ограничивать эффективность с помощью модификации промптов, направляющих векторов или параметрически-эффективной тонкой настройки (PEFT). Эти вмешательства не затронут подавляющее большинство программистских задач. Мы оцениваем, что они затронут около 0,03% трафика, сконцентрированного в менее чем 0,1% организаций. Когда эти вмешательства срабатывают, мы ожидаем, что их влияние на поведение модели будет минимальным, за исключением ограничения её эффективности в разработке передовых LLM. Claude по-прежнему будет давать полезные ответы на запросы пользователей. Мы продолжим повышать точность методов обнаружения после выпуска этой модели.
Anthropic отозвала это изменение — Fable будет передавать запросы, связанные с LLM, в Opus 4.8 и информировать пользователей об этой передаче — но я считаю, что первоначальная политика была очень показательной. С одной стороны, я действительно не виню Anthropic за нежелание помогать конкурентам; с другой стороны, должно быть совершенно ясно, что Anthropic считает, что никто, кроме них, не должен создавать передовые LLM.
Эта политика становится ещё более поразительной, если учесть, что она была введена всего через два месяца после спора Anthropic с Военным министерством: последнее хотело использовать Claude для любых законных целей, а первое хотело ввести более строгий контроль над наблюдением и автономным оружием. Эта мера по снижению производительности представляет собой как способность, так и готовность Anthropic тихо изменять свои модели для реализации своих политических предпочтений. Другими словами, Anthropic активно подтвердила некоторые из самых больших опасений критиков относительно неё как риска в цепочке поставок.
Однако более широкий вывод из того инцидента заключается в том, что Anthropic считает, что они должны иметь окончательное решение о том, как используется Anthropic; учитывая, что они считают, что только они должны разрабатывать передовой ИИ, то они, по сути, считают, что только они должны иметь окончательное решение по ИИ в целом. Когда вы объединяете это понимание с заявлением компании о том, что ИИ способен осуществлять всю экономическую деятельность, вы осознаёте, что руководство Anthropic фактически хочет власти над всем и всеми.
Нарратив безопасности
Конечно, Anthropic никогда не выразит это так прямо; вместо этого история будет о безопасности:
Я ожидаю, что Anthropic будет всё больше открывать возможности своих моделей конечным пользователям через всё более специализированные для разных рабочих процессов конечные точки, даже когда они начинают ограничивать API. Эта замена программного обеспечения и это ограничение доступа будут осуществляться во имя безопасности, даже когда Anthropic будет выполнять свою экономическую необходимость приблизиться к конечному пользователю.
Объяснение Anthropic своего серьёзного изменения политики хранения данных — безопасность. В частности, компания утверждает, что хранение всех пользовательских данных в течение 30 дней необходимо для предотвращения взломов, которых опасается правительство США. Я определённо могу представить будущее, где соображения безопасности также вынудят их обучаться на этих данных, чтобы лучше защищаться от злонамеренного использования.
Вся история происхождения Anthropic укоренена в вере основателей, что OpenAI не воспринимает безопасность достаточно серьёзно; компания считает, что только они могут контролировать ИИ, и поскольку они уникально заботятся о безопасности, у них есть основания пытаться контролировать всех остальных, включая правительство США.
Проблема с этими доводами безопасности в следующем: я считаю, что они действенны, потому что для Anthropic они не оправдания. Компания действительно верит, что они единственные, кто верит в сверхинтеллект, и поэтому единственные, кто достаточно обеспокоен опасностями. Это оправдывает одно решение за другим, одну политику за другой, одно противостояние за другим, что для посторонних выглядит как странная смесь цинизма и наивности.
Контраст с OpenAI огромен: я считаю, что один из способов понять, как и почему OpenAI утратила лидерство, заключается в том, что в годы после выпуска ChatGPT компания внутренне находилась в состоянии конфликта, когда бывшая исследовательская лаборатория внезапно была обременена задачей стать неожиданной потребительской технологической компанией; пока OpenAI разрешала этот конфликт, она потеряла много талантов в пользу таких компаний, как Anthropic.
С другой стороны, Anthropic обладает идеальным соответствием между талантами, миссией и бизнесом. Компания может продавать исследователям видение создания машинного бога, с аурой людей, которые заботятся об опасностях и достаточно умны, чтобы представлять человечество перед лицом этих опасностей; и каждое последующее изменение политики как раз оказывается выгодным для бизнеса — что за чудесное совпадение.
Я и уважаю это соответствие, и боюсь его. Я уважаю его, потому что оно явно очень эффективно; ближайшая аналогия — это, возможно, Apple, которая всегда оборачивает каждый эгоистичный поступок в предлог о том, что делает правильные вещи для пользователей — и часто они действительно так делают. То же самое и с Anthropic. Однако меня пугает то, что позволить тем, кто уверен, что знает лучше всех, построить смартфон, который я могу принять или отвергнуть, — это одно; позволить им построить сверхинтеллект, способный соперничать или превосходить власть национальных государств или просто крупных корпораций, — это гораздо более тревожно. История умных людей, уверенных, что они знают, что нужно человечеству, грязна именно потому, что они убедили себя в добрых намерениях, предоставляя оправдания действиям, которые таковыми не являются.
