¿Cuántos tokens consume realmente Claude Code? Un experimento comparativo revela: las tres principales plataformas varían hasta 30 veces
Un experimento comparativo realizado por Composio evaluó tres frameworks de agentes (Claude Code, Hermes y Kimi Code) ejecutando las mismas 28 tareas con el modelo Kimi K3. Los resultados mostraron una tasa de éxito similar: 22, 21 y 20 tareas exitosas respectivamente. La gran diferencia estuvo en el consumo de tokens: Claude Code usó una mediana de 340,000 tokens, aproximadamente 6 veces más que Kimi Code (61,000 tokens) y 5 veces más que Hermes (67,000 tokens). En algunos casos, la diferencia llegó a ser de hasta 30 veces.
En costos, utilizando el precio de Kimi K3 de 3 USD por millón de tokens de entrada, el coste promedio por tarea fue de 0.22 USD para Kimi Code, 0.28 USD para Hermes y 2 USD para Claude Code. En velocidad, Hermes fue el más rápido (179 segundos de mediana), seguido por Kimi Code (297 segundos) y Claude Code (348 segundos).
Expertos como Sebastian Raschka señalan que el alto consumo de Claude Code se debe principalmente a tokens de entrada, ya que su framework reintroduce constantemente contexto histórico en cada interacción del agente. Una investigación de Writer respalda la creciente importancia del harness (framework de orquestación), demostrando que optimizarlo puede reducir costos en un 41% y la latencia en un 44%, manteniendo la calidad. La conclusión clave es que, para reducir costos de agentes de IA, optimizar el harness es más impactante que cambiar el modelo, marcando un cambio hacia la era donde "el harness es el producto".
marsbit07/31 12:28
