Насколько сильно Claude Code расходует токены? Эксперимент: три фреймворка различаются в 30 раз
Сравнительное исследование трех фреймворков для AI-агентов (Claude Code, Hermes, Kimi Code), проведенное командой Composio, показало значительную разницу в потреблении токенов при выполнении одних и тех же 28 задач с использованием модели Kimi K3. Хотя показатели успешности выполнения были схожими (20-22 из 28), разница в использовании токенов оказалась огромной: Claude Code в среднем потреблял ~340 тыс. токенов, что примерно в 6 раз больше, чем у Kimi Code (~61 тыс.) и Hermes (~67 тыс.). В экстремальных случаях разница достигала 30 раз.
Это напрямую повлияло на стоимость: средняя цена задачи составила около $0.22 для Kimi Code, $0.28 для Hermes и $2 для Claude Code. Hermes оказался самым быстрым по времени выполнения.
Эксперт Себастьян Рашка подтвердил тенденцию, отметив, что Claude Code часто использует в 2-3 раза больше токенов при схожей эффективности. Анализ показал, что высокое потребление связано в основном с входными токенами: фреймворк Claude Code имеет тенденцию многократно передавать большие объемы контекста (историю сообщений, вызовы инструментов, вывод команд) в модели в ходе многошагового выполнения.
Исследование подчеркивает растущую критическую важность выбора фреймворка (harness) для управления агентом, который может влиять на стоимость и эффективность не меньше, чем выбор самой модели. Компания Writer в отдельном эксперименте показала, что оптимизация слоя оркестрации может снизить средние затраты на 41%, а задержки — на 44%, практически без потери качества. Это указывает на сдвиг парадигмы: если раньше ключевым был выбор модели, то теперь конкуренция все больше смещается в сторону эффективности и экономичности фреймворков-оболочек.
marsbit07/31 12:27
