Recientemente, una nueva palabra ha suscitado un amplio debate: "Tokenpocalypse" (El Apocalipsis del Token).
El detonante fue la reestructuración de precios que Microsoft aplicó a GitHub Copilot. A partir del 1 de junio, Copilot ha adoptado completamente un modelo de facturación basado en tokens, donde los multiplicadores de costo entre los diferentes modelos varían enormemente, llegando a ser el precio por token de algunos modelos hasta 60 veces superior al de otros.
Y precisamente aquellos modelos avanzados, considerados por los usuarios como "realmente buenos", son los que han experimentado los aumentos más drásticos.
A medida que empresas líderes en IA como Anthropic y OpenAI se preparan para salir a bolsa, estas compañías se enfrentarán a presiones de rentabilidad aún más severas, lo que podría obligar a más proveedores a seguir la tendencia de subir los precios.
El costo de usar la IA siempre ha sido un problema inevitable para las empresas que buscan expandir su productividad. La reciente moda del "tokenmaxxing", que competía por impulsar el volumen de uso de tokens por parte de los empleados, está llegando a su fin con la proximidad de la "Tokenpocalypse".
"Toda la moda del tokenmaxxing, desde su auge hasta su apogeo y luego hasta ser despreciada, duró apenas seis meses."
El dilema de las empresas
Este desarrollador de una gran empresa describe una situación paradójica: durante mucho tiempo, la empresa obligaba a los empleados a usar herramientas de IA, y si usaban pocos tokens, los llamaban a una reunión. Pero con la nueva estructura de precios, si usan demasiados tokens, también los llaman a una reunión.
Lo peor es que, hasta ahora, el equipo de Copilot no ha logrado implementar la función de "límite de tokens por nivel de empleado". Esto significa que, bajo el nuevo modelo de facturación, un solo empleado podría agotar todo el presupuesto mensual de tokens de la empresa en un solo día.
"Mi trabajo ya no consiste en usar software para resolver problemas de negocio," escribe este desarrollador, "mi trabajo se ha convertido en resolver problemas de uso de tokens."
Los comentarios son aún más reveladores. Un usuario resume: "La política de la empresa se ha convertido en: 'Usa IA para todo, pero ten cuidado de no usar demasiado, porque si el LLM consume demasiados tokens, te suspenderán, y luego te criticarán por no haber usado IA el resto del mes.'"
Que las empresas den demasiada importancia a la productividad de la IA también puede ser un arma de doble filo.
Un director de información de un gran bufete de abogados incluso "presumió" en un seminario sobre IA: cuando su sistema de IA se cayó, los abogados básicamente dejaron de trabajar, porque ya no pueden prescindir de la IA.
"¿Una persona con años de formación especializada admite libremente que no puede trabajar sin un chatbox de IA? Me daría vergüenza y empezaría a cuestionar mi carrera profesional."
El caso de sobrecoste de Uber: un microcosmos de la industria
Actualmente, la mayoría de los modelos de IA tienen paquetes de uso, y el problema de las empresas para controlar el presupuesto se agrava con la tendencia a facturar los tokens según el consumo.
Uber recorrió una trayectoria completa en mes y medio: primero descubrió que "el presupuesto de IA se quemaba mucho más rápido de lo previsto", y luego estableció urgentemente límites de uso y restricciones para los empleados.
"Imagínense que una empresa que usa tanta IA como Uber se topara con un límite tan rápido," se comentó en un podcast de TechCrunch. "La pregunta es: ¿pueden los laboratorios de IA reducir los costos hasta alinearse con la disposición a pagar de sus clientes?"
Un dato poco conocido: cuando ChatGPT Plus se lanzó inicialmente a 20 dólares al mes, no había ninguna consideración estratégica detrás, "simplemente tiraron un número". Toda la industria todavía está pagando las consecuencias de ese punto de partida.
"Tu trabajo no será reemplazado por la IA, pero tu presupuesto podría serlo"
En Reddit hay más detalles reveladores. Alguien creó en su empresa un panel de control de costos de AWS Bedrock, que muestra en tiempo real en CloudWatch el gasto de cada modelo y de cada token (incluidos los tokens en caché), "para que tanto los desarrolladores como las finanzas vean cómo se quema el dinero". La reacción en los comentarios fue: "Enhorabuena, acabas de proporcionarles un nuevo indicador KPI."
Otra gran empresa ya ha experimentado una restricción similar: una vez agotadas las cuotas de IA, todos fueron degradados forzosamente a GPT-4.2, perdiendo incluso la integración con VSCode.
Un observador ajeno a la industria tecnológica expresó lo que muchos piensan: "Toda esta situación consume tanta energía mental y horas de trabajo reales que ya está afectando la entrega del trabajo que realmente puede ayudar a la empresa a ganar dinero."
Mientras toda la industria sigue inmersa en la narrativa de que "la IA lo reemplazará todo", un problema más realista ya ha surgido: la factura de la potencia de cálculo, al final, alguien tiene que pagarla. Y la "Tokenpocalypse" quizás sea solo el comienzo de este ajuste de cuentas.
