«Токенапокалипсис» наступает: когда стоимость перевешивает выгоду от производительности, кто заплатит?
Недавно появился термин «Токенокалипсис» (Tokenpocalypse), вызванный переходом Microsoft на токенную модель оплаты для GitHub Copilot с 1 июня. Цены на токены для разных моделей сильно различаются — до 60 раз, причём самые продвинутые и полезные модели подорожали больше всего. В преддверии IPO таких компаний, как Anthropic и OpenAI, давление с целью выйти на прибыльность может привести к дальнейшему росту цен на AI-сервисы.
Это создаёт дилемму для компаний: ранее они поощряли максимальное использование AI («токенмаксинг»), но теперь чрезмерные расходы на токены тоже становятся проблемой. Разработчики жалуются, что их работа превратилась из решения бизнес-задач в управление лимитами токенов. Отсутствие индивидуальных лимитов для сотрудников означает, что один человек может исчерпать месячный бюджет всей компании.
Ярким примером стала ситуация в Uber, где бюджет на AI был израсходован всего за полтора месяца, что вынудило срочно вводить ограничения. История показывает, насколько сложно компаниям контролировать расходы в условиях повсеместной зависимости от AI. Как отметил один комментатор, «вашу работу, возможно, не заменит AI, но ваш бюджет — вполне возможно».
Индустрия столкнулась с реалией: счёт за вычислительные ресурсы нужно оплачивать, а первоначальные низкие цены (вроде $20 за ChatGPT Plus) были установлены произвольно. «Токенокалипсис», возможно, знаменует начало более трезвого этапа, когда сосредоточение на оптимизации затрат на AI начинает отвлекать больше времени и энергии, чем сама работа, которую призваны улучшить эти инструменты.
marsbit06/10 08:45
