Автор: Sarah Guo
Перевод: Deep Tide TechFlow
Введение Deep Tide: Когда большие модели начинают превосходить человека во всех рейтингах, инвесторы впадают в отчаяние: что, кроме Anthropic и NVIDIA, стоит инвестировать? Этот ведущий инвестор из Кремниевой долины на данных и примерах показывает, что настоящий оборонительный ров не в рейтингах — он скрыт там, где его невозможно измерить бенчмарками.
В середине 2026 года инвесторская версия ИИ-помешательства — это отчаяние: инвестировать не во что, мы должны вложить все деньги в Anthropic и NVIDIA и уйти домой.
Я никогда такого не чувствовала. Я уже убеждена, что модели умнее меня на несколько версий, я с радостью купила бы акции Anthropic и NVIDIA по рыночной цене, все мои умнейшие друзья уверены, что самоулучшение скоро увенчается успехом — но я всё равно не чувствую этого отчаяния.
Это отчаяние не глупо. Логика такова: если модели продолжают улучшаться во всём, то каждая компания, построенная на них, — лишь тонкая оболочка, ожидающая поглощения, и единственная сохраняющая ценность вещь — это вычислительные мощности и вес на переднем крае.
Возьмём софт, пример, на который больше всего опираются сторонники отчаяния. Devin при релизе в 2024 году решал лишь 13% задач на стандартных бенчмарках по разработке ПО, его в основном игнорировали. Через полтора года лучшие агенты набирают более 80 баллов, и они выполняют реальную работу внутри Goldman Sachs и армии США. Почти все сделали одинаковый ошибочный вывод: модель съела программную инженерию. Но когда модель поглотила самую легко измеримую часть разработки ПО, мы заново осознаём то, что многие команды давно знали — инженерия всегда сопротивлялась измерению, и самая легко измеримая часть, возможно, не единственно важная.
Mert Demirer из MIT и его коллеги наконец дали цифры: среди более 100 тысяч разработчиков новейшие агенты для кодинга увеличили количество написанного кода примерно на 180%, а фактически выпущенного в продакшн кода — примерно на 30%. Писать код стало дешевле. Оставшаяся часть всё ещё проходит через людей, и она важна. Конечно, чистое влияние всё равно поразительно.
Бенчмарк — это то, что ты можешь измерить, а то, что ты можешь измерить, — это то, на что ты можешь натренировать модель. Поэтому агенты для кодинга созрели первыми: компилятор — бесплатный валидатор, набор тестов — бесплатный валидатор, когда ответ бесплатно проверяет сам себя, ты можешь шлифовать его до победы. Но прохождение тестов никогда не говорит тебе, является ли это изменение правильным для десятилетней кодовой базы с тремя недокументированными модурами, смысл существования которых неясен, и пайплайном развёртывания, который держится на cron job, написанном кем-то, кто не хочет признаваться.
Такая правильность не читается из рейтингов, да и вообще ниоткуда не читается. Ты учишься этому, запуская систему в реальном мире достаточно долго, чтобы понять, работает ли такая сложная система, а более умные модели не заставляют мир работать быстрее. Никто не делает юнит-тесты для чего-то масштаба Google и не верит галочке; ты веришь этому, потому что это выдержало годы реальной нагрузки. Такая правильность не просто приватна, это медленный оборонительный ров, который капитал не может сокрушить. Даже оптимисты признают, что часы нельзя перепрыгнуть: Ноам Браун, пионер моделей рассуждений в OpenAI, недавно написал, что единственный надёжный способ оценить агента на временном горизонте в год — это, возможно... запустить его на год.
Как сказал Габе Перейра, настоящая автоматизация — это не просто улучшение модели. Это движение вместе продукта, модели, рабочего процесса и компании, и три из этих четырёх двигаются со скоростью организации.
Люди, которые движутся, — это часть, недоступная для бенчмарков: заставить скептически настроенного партнёра изменить свой подход к делу, сохранить команду сплочённой во время перестройки. Вот почему, когда мы нанимаем CEO, способность работать с людьми не менее важна, чем аналитические способности, и более умные модели не изменят этот вес. Обратная связь расплывчата, временные горизонты — годы, доверие принадлежит человеку. Каждая известная мне компания дала всем инженерам доступ к передовым моделям для кодинга, но ни одна не меняет свою инженерную организацию с близкой к той скоростью. Внедрение заняло квартал — какой же волшебный был квартал для роста токенов! Но перестройка занимает годы.
Видно то, что уходит. Ценная работа по своей структуре невидима: всё, что ты можешь поместить в рейтинг, ты можешь использовать для тренировки, поэтому всё измеримое уже на пути к товаризации. Этот процесс требует времени и никогда не завершится полностью, но направление никогда не меняется на обратное. Говоря языком моего друга из Rippling, Мэтта МакИнниса: токены, потраченные на ответы на общие вопросы, почти ничего не стоят, потому что модель любого человека может ответить на них, а токены, потраченные на рассуждение о данных твоей компании, стоят гораздо дороже, потому что они делают то, что тебе действительно нужно, а не просто выглядят правдоподобно.
Видимая работа съедается с двух сторон. Снизу — насыщение задач: как только работу можно дёшево проверить, покупатель перестаёт спрашивать, какая модель это сделала, и начинает спрашивать, сколько это стоит, и работа достаётся самой дешёвой на этой неделе открытой или дистиллированной модели. Там, где они могут оказывать влияние, в конечном итоге важна маржа. Сверху лаборатории пытаются заставить модели поглотить собственные леса. Извлечение, маршрутизация между дешёвыми и дорогими вызовами, использование инструментов, даже стратегии рассуждений — все устройства, которые когда-то обёртывали модель, втягиваются в веса, пока оболочка не станет самой моделью. Это и есть поглощение передового края. Давление на маржу также сокращает обратно: универсальный агент должен быть готов ко всему, а это дорого, а специализированное приложение может настроить рабочий процесс, пока он не будет работать на малой доле расходов на токены, и, в отличие от лаборатории, продающей эти токены, оно сохраняет разницу.
Итак, мы можем спросить о любом типе работы две вещи. Является ли её правильность приватной и дорогой в установлении — та правда, которая существует только внутри чьих-то данных? Изолирована ли она, заперта в системе, в которую ты не можешь войти? Сопоставь это со степенью насыщения задачи, и получишь матрицу 2x2. Насыщенная работа с публичным ответом — это товарный токен, им владеют открытые модели. Передовая работа с публичным ответом, где находятся бенчмарки по кодингу, — это место, где побеждают лаборатории, потому что когда оценка бесплатна, обладание ею ничего не значит. Приз — в последнем углу, в том, что нельзя натренировать: передовая работа, правильность которой существует только в приватной сфере. Ты можешь видеть это в облаках для рассуждений, на которых размещены пионеры изначально ИИ-компаний, где подавляющее большинство токенов генерируется кастомными моделями, а не универсальными открытыми моделями.
Стены, ведущие в этот последний угол, разной высоты. Игрушечная кодовая база одиночного разработчика переносима и стандартна, поэтому подъём короткий. Продакшн-система банка не является ни тем, ни другим, ты не получишь root-доступ, просто будучи на 2% умнее в SWE-Bench Verified.
Возможности поглощают многое, но лучшие модели не делают приватные базовые факты публичными. Они не держат лицензии, не подписывают обязательства, не владеют документами компании и не могут быть стороной, на которую подают в суд, когда ответ ошибочен. Интеллект — не узкое место здесь. Им является разрешение, и ответственность тоже. Ты можешь представить модель, намного умнее любого человека, и она всё равно должна быть допущена внутрь, и всё равно кто-то должен подписаться под её действиями.
У той двери есть замок и засов. Замок — это окружение: ты можешь проверить, сделал ли ИИ что-то полезное, только после того, как тебе доверят внутри системы, после проверок безопасности, интеграции, контракта, по которому ты подписываешься под результатами. Засов — это пользователь. Сейчас большинство американских врачей ежедневно открывают OpenEvidence, и никакое количество вычислительных мощностей не купит это. Лаборатории завтра могут натренировать идеальную медицинскую модель и всё равно не попадут в привычки врачей или в процессы принятия решений UCSF, потому что доверие строится медленно, на основе отношений, требует молчаливого согласия пользователей, а не стирания их градиентным спуском.
Это тоже работа. Приложение завоёвывает своё место в необучаемом углу, выполняя незаметную работу: организуя приватную реальность компании так, чтобы модель могла действовать на неё, давая модели инструменты для действий, работая с клиентами, чтобы изменить реальность их сотрудников. Компанию, которая приносит перевод, трудно скопировать — а перевод никогда не заканчивается. Интеграция и поддержка длятся так же долго, как отношения, и их выигрывают команды, размещающие инженеров с экспертизой в предметной области и инструменты рядом с клиентом.
Например, в ведущей престижной юридической фирме только в сфере M&A ежегодно проходит почти тысяча сделок. Из-за конфиденциальности и многих других причин нельзя позволить сотням ассистентов загружать клиентские файлы на рабочий стол и просить универсального агента просмотреть их, и даже если бы могли, ты узнал бы обрывки, исправления по одному ассистенту, не видя, как течёт вся сделка. Важный сигнал существует на уровне сделки, и сделка имеет форму: для M&A это NDA, term sheet, due diligence, purchase agreement, сопутствующие документы, closing checklist; для судебных разбирательств по IP это ходатайства, раскрытие доказательств, существующие технологии, ещё ходатайства. У каждой области бизнеса своё, и юристы, и инструменты не взаимозаменяемы между областями. А реальные проблемы, которые решает фирма, находятся на уровень выше всего этого: параллельное ведение каждой бизнес-области, как лучшие партнёры ведут одновременно сотни дел, одновременно запуская новые и обучая ассистентов. Трансформация такой фирмы — не единая задача, для которой можно написать оценку. Для этого нужен оператор, который будет действовать как аналитик данных, с чрезвычайно размытыми целями, неполной обратной связью, длинными временными горизонтами в среде, которая не стоит на месте.
К сожалению, невидимую ценность тоже трудно продать, по той же причине, по которой её трудно товаризировать: компания не может извне оценить, трансформирует ли ИИ её операции, так же как не может бенчмарк. Поэтому сильнейшие компании прекращают пытаться доказать это извне и заходят внутрь, устанавливая цену за результат. Sierra берёт плату, когда её агент решает проблему клиента, и не берёт, когда передаёт проблему человеку, так что цена становится оценкой, и это работает только если Sierra владеет определением «решено». Devin от Cognition делает то же самое в софте, предлагая «гарантию производительности», которую можно дать только для результата в системе, куда тебе доверяют вход.
Даже сервисные токены, которые все любят называть чистыми товарами, не работают как товары. Лучшие изначально ИИ-компании концентрируют свои сервисы на одном-двух провайдерах (Baseten или Fireworks), потому что стоимость за токен товаризируется по графику, а надёжность при реальном трафике и гарантированный доступ к дефицитным вычислительным мощностям — нет. Где ты обслуживаешь — это другой выбор, нежели какие модели ты используешь. Цена — единственная часть в рассуждениях, которая работает как товар.
Частое возражение: лаборатории — твои поставщики — почему они не будут запускать свои продукты первого партнёра ниже себестоимости, чтобы выжать тебя, или не отзовут твой API-доступ и сами займут рынок? Это реальная версия теории отчаяния, которая работает только если модельный уровень — игра для одного игрока. Очевидно, это не так — это больше похоже на смертельную гонку трёх с половиной сторон, с группой международных игроков, отстающих на полгода в обучении, и лигой развития, которая в 5 раз больше, чем в прошлом году. Клиенты хотят конкуренции между поставщиками, лаборатории больше хотят доли рынка, чем смерти какого-либо приложения.
Ты можешь видеть это на рынках, где лаборатории сталкиваются лицом к лицу. В потребительских чатах лучшая модель никогда не побеждала просто так. ChatGPT годами удерживал лидерство в реальной конкуренции, и доля, которую он теряет сейчас, уходит к Gemini благодаря силе Android и поиска, а не лучшей модели. Anthropic, которую прогнозные рынки (и настроение интернета) в настоящее время оценивают как компанию с лучшей моделью, почти не является игроком в потребительских чатах, но построила свой бизнес в корпоративном сегменте и кодинге. Если лучшая модель не может отнять пользователей у конкурентов в самом основном приложении, она не пройдёт через больничные записи или ответственность банка путём интеграции. Выбор публики сегодня основан не только на кодинге. Если передовой край останется переполненным, его верхние слои будут ценными.
Если работу нельзя оценить извне, кто-то внутри должен решить, что вообще является хорошим ответом, и это решение — вся игра. Достаточно таких решений, записанных, становятся бенчмарком. Harvey выпустил один для права, Sierra — для голосовых агентов. Ты выигрываешь право определять, что означает «хорошо» для области, становясь тем, кого эта область уже использует, и эти компании выиграли это право в борьбе за реальное внедрение.
Оценки, решающие реальные деньги, приватны и различаются от компании к компании: что эта компания, в этом деле, примет за хорошую работу, и это далеко от завершения, потому что глубина права делает любой публичный тест незначительным. OpenEvidence определяет, каким должен быть безопасный клинический ответ. Это не измерение, это суждение о том, что истинно и хорошо, записанное, пока не станет стандартом, по которому будут мерить всех остальных, и базовые лаборатории, как бы умны они ни были, не могут написать это, потому что такое положение существует только внутри этой области. Этот авторитет тяготеет к тому месту, где он уже находится. Опытные юристы пишут юридические бенчмарки. Определение безопасного клинического ответа остаётся за врачами. А «решено» означает то, что говорит любая компания, у которой уже есть клиенты.
Поглощающий передовой край постоянно поднимается, потому что мы постоянно учимся измерять больше работы, и измеримое съедается. Необучаемая почва сокращается под ногами любого, кто на ней стоит, поэтому нельзя найти обороняемую точку и отдохнуть. Ты постоянно движешься к тому, что ещё нельзя оценить, ты постоянно перестраховываешься. В узкой задаче, со своими приватными данными и своей собственной оценкой, ты можешь дотренировать до передового края и победить универсальную модель в том, что важно, и эта специализированная модель становится частью оборонительного рва. С другой стороны, конкурировать на универсальной модели — это война капиталов, ты проиграешь тому, у кого больше всего вычислительных мощностей, это ловушка для компаний с неглубоким доступом и видимыми задачами. Она обещает пережить тот день, когда для выживания в сфере универсальных задач потребуется обогнать обучение на переднем крае, и тогда победитель, кажется, больше всего определяется масштабом дата-центров, и конец обычно не независимый чемпион, а продажа тому, у кого много вычислительных мощностей.
Всё это — защита. Сложнее — наступление, выбор того, что строить в первую очередь. Вот что я искала целый год, и, возможно, нашла три раза. Модель здесь не помогает. Она сделает то, на что ты укажешь, но не скажет тебе, на что стоит указывать, ты не можешь это бенчмаркнуть, поэтому не можешь натренировать её. Это также причина, по которой существующие предприятия не заберут всё: они удерживают свою территорию, следующая вещь приходит от тех, кто находит применение раньше остальных. Возможно, намерение — более дефицитный вклад, чем вычислительные мощности.
Теория отчаяния права наполовину. Тонкие слои-оболочки действительно поглощаются, и многое из того, что сегодня выглядит как компания, — это тонкая оболочка. Она ошибается насчёт того, что остаётся. Механизм ясен; пункт назначения — нет. На что я бы поставила: интеллект постоянно дешевеет, ценность постоянно смещается в те немногие места, куда модель не может добраться. Необучаемое — это ценность, у которой есть история. Так что войди в одну из них, делай незаметный перевод, начни записывать, что там означает «хорошо», потому что кто-то это сделает. Самый цитируемый в этом году балл бенчмарка — это карта территории, которая скоро обесценится, и уведомление о том, кто скоро потеряет право говорить, что считается хорошим.
