Недавно новое слово вызвало широкое обсуждение: «Tokenpocalypse» (Токенапокалипсис).
Причиной стала ценовая реструктуризация Microsoft для GitHub Copilot. С 1 июня Copilot полностью перешел на модель оплаты на основе токенов, причем разница в мультипликаторах стоимости токенов между различными моделями огромна — цена одного токена для некоторых моделей в 60 раз выше, чем для других.
И те продвинутые модели, которые пользователи единодушно признают «действительно хорошими», оказались именно теми, чья цена выросла больше всего.
По мере того, как такие ведущие компании в области ИИ, как Anthropic и OpenAI, готовятся к выходу на биржу, перед ними встанет более серьезное давление с целью получения прибыли, что, возможно, заставит больше производителей последовать их примеру и поднять цены.
Стоимость использования ИИ — это всегда неизбежная проблема для бизнеса, стремящегося расширить производительность. Недавний тренд «tokenmaxxing», движимый соревнованием между сотрудниками по объему использования токенов, подходит к концу с приближением Токенапокалипсиса.
«Весь этот ажиотаж вокруг tokenmaxxxing, от взлета до пика и до разочарования, занял всего шесть месяцев».
Дилемма для компаний
Этот разработчик из крупной компании описал абсурдную дилемму: компания долгое время в обязательном порядке требовала от сотрудников использовать инструменты ИИ, за малое использование токенов вызывали на беседу. Но с введением нового ценообразования за чрезмерное использование токенов также вызывают на беседу.
Что еще хуже, команда Copilot до сих пор не смогла запустить функцию «ограничение токенов на уровне сотрудника». Это означает, что при новой модели оплаты один сотрудник может за день потратить весь месячный бюджет компании на токены.
«Моя работа уже не в том, чтобы решать бизнес-задачи с помощью программного обеспечения, — пишет этот разработчик, — моя работа превратилась в решение проблемы использования токенов».
Жалобы в комментариях еще более показательны. Один пользователь подытожил: «Корпоративная политика превратилась в: „Используйте ИИ для всего, но будьте осторожны, не используйте слишком много, потому что если LLM потребит слишком много токенов, ваш доступ отключат, а затем вас отчитают за то, что вы не использовали ИИ оставшуюся часть месяца“».
Слишком большая ставка компании на производительность ИИ тоже может быть палкой о двух концах.
Один ИТ-директор из крупной юридической фирмы даже «похвастался» на семинаре по ИИ: после сбоя их ИИ-системы юристы в основном прекратили работу, потому что уже не могут обходиться без ИИ.
«Человек, прошедший многолетнюю профессиональную подготовку, свободно признается, что не может работать без ИИ-чата? Мне было бы стыдно, и я начал бы переосмысливать свою карьеру».
Событие с перерасходом в Uber: отраслевой срез
Сейчас у большинства ИИ-моделей есть пакеты использования, и проблемы компаний с контролем бюджета становятся все серьезнее по мере того, как токены все чаще переходят на поминутную оплату.
Uber за полтора месяца прошел полный цикл: сначала обнаружил, что «бюджет на ИИ сгорает гораздо быстрее, чем ожидалось», затем срочно установил лимиты на использование и ограничения для сотрудников.
«Только представьте, такая активно использующая ИИ компания, как Uber, так быстро уперлась в стену, — говорилось в подкасте TechCrunch. — Вопрос в том: смогут ли лаборатории ИИ снизить затраты до уровня, соответствующего готовности клиентов платить?»
Малоизвестный факт: когда ChatGPT Plus изначально оценили в 20 долларов в месяц, не было никаких стратегических соображений, «просто назвали первую попавшуюся цифру». Вся отрасль до сих пор расплачивается за эту отправную точку.
«Вашу работу не заменит ИИ, но ваш бюджет — может»
На Reddit есть еще более интересные детали. Кто-то в компании создал панель мониторинга затрат AWS Bedrock, которая в реальном времени выводит в CloudWatch расходы на каждую модель, каждый токен (включая кэшированные токены), «чтобы разработчики и финансисты вместе смотрели, как горят деньги». Реакция в комментариях была: «Поздравляю, вы только что предоставили им новый показатель KPI».
Другая крупная компания уже столкнулась с аналогичным ужесточением: после исчерпания лимитов ИИ всех принудительно перевели на GPT-4.2, лишив даже интеграции с VSCode.
Один сторонний наблюдатель не из технологической отрасли высказал общее мнение: «Вся эта история отнимает столько ментальной энергии и фактического рабочего времени, что это уже сказывается на выполнении реальной работы, которая приносит компании деньги».
Пока вся отрасль погружена в нарратив «ИИ заменит все», на поверхность уже всплывает более реальная проблема: счет за вычислительные ресурсы в конце концов кто-то должен оплатить. И «Токенапокалипсис», возможно, — лишь начало этого расчета.
