Con un solo megavatio de electricidad, el último GB300 NVL72 de NVIDIA puede manejar simultáneamente 61.400 agentes, mientras que su predecesor H200 solo podía con aproximadamente 2.600.
Una diferencia total de 20 veces.
Los resultados de AA-AgentPerf publicados por NVIDIA: bajo dos estándares de servicio de 20 y 60 tokens por segundo, el número de agentes concurrentes por megavatio del GB300 NVL72 es aproximadamente 20 veces mayor que el del H200.
Cuando NVIDIA publicó estas cifras el 12 de junio, la primera reacción externa fue otra demostración de rendimiento.
Pero lo que realmente cambió no fue lo potente que sea esta generación de chips, sino la vara con la que se mide la potencia computacional.
Se trata del nuevo benchmark publicado por la agencia independiente de evaluación Artificial Analysis: AA-AgentPerf.
Artificial Analysis lo denomina en su blog oficial como el primer benchmark de inferencia diseñado específicamente para "agentes de IA (AI agent)" en la industria.
Su métrica principal también es diferente: no son tokens por segundo, sino "Agentes por Megavatio (Agents per Megawatt)".
En términos más simples, es cuántos agentes puede "alimentar" simultáneamente un sistema con cada megavatio de electricidad suministrado.
Los FLOPS se han medido durante años, y los tokens por segundo también se han usado bien, ¿por qué introducir entonces este nuevo benchmark AA-AgentPerf?
La vieja vara
Ya no mide a los agentes
Para responder a esta pregunta, primero hay que entender qué tipo de carga genera realmente un agente en funcionamiento.
El juicio de Artificial Analysis es claro: la carga de IA más predominante en 2026 no es para nada lo mismo para lo que fueron diseñados esos antiguos benchmarks: los viejos benchmarks miden peticiones sintéticas de longitud fija, y además desactivan por defecto optimizaciones que sí se activarían en entornos de producción reales.
NVIDIA también dio una analogía acertada:
Un diálogo ordinario es un sprint de 100 metros: el modelo recibe una pregunta, devuelve una respuesta y se acaba; pero el trabajo de un agente es más bien como una carrera de relevos.
Divide un objetivo en docenas o cientos de pasos: leer archivos, escribir código, ejecutar comandos, ver resultados, decidir el siguiente paso, un relevo tras otro, hasta que la tarea realmente se completa.
En este camino, docenas o incluso cientos de llamadas al modelo de gran tamaño (LLM) se encadenan, cada una pasando un contexto cada vez más largo al siguiente relevo, mezcladas con llamadas a herramientas como compilación, consultas a bases de datos o búsquedas.
La complejidad no se suma simplemente, se multiplica capa tras capa.
NVIDIA utiliza la metáfora del "relevo" para describir la carga de los agentes. Un objetivo se divide en docenas o cientos de pasos, las llamadas a LLM y las llamadas a herramientas se suceden como relevos, formando una cadena cada vez más larga.
El problema reside precisamente aquí.
Los benchmarks de inferencia existentes en el mercado miden llamadas únicas: cuánto tarda en volver una petición, cuántas peticiones puede manejar una máquina simultáneamente.
No fueron diseñados originalmente para agentes. La forma en que las llamadas encadenadas, la espera de herramientas y la expansión del contexto presionan al sistema es completamente diferente a la de una petición única.
Solo las conversaciones largas ya esconden puntos ciegos de los viejos tests: el mismo prefijo largo reaparece ronda tras ronda; quien pueda almacenarlo en caché en lugar de recalcularlo cada vez, ahorrará una enorme cantidad de potencia computacional.
Además, los resultados de las herramientas a menudo inflan el contexto hasta el límite, mientras que la salida suele ser de solo unos cientos de tokens. Si el planificador y los niveles de memoria pueden o no soportar este ritmo de longitudes tan variables determina directamente si un sistema funciona sin problemas o se bloquea en el acto.
Este es precisamente el terreno que las pruebas sintéticas de longitud fija no pueden cubrir.
Para quienes invierten dinero real en comprar tarjetas y construir centros de datos, lo que realmente les importa es cuántos agentes de trabajo activos puede alimentar simultáneamente el sistema, y cuánta producción útil se obtiene por cada kilovatio-hora y cada GPU.
Los viejos benchmarks no pueden responder a estas preguntas.
La primera vara hecha para agentes
El enfoque de AA-AgentPerf es diferente al de los benchmarks antiguos: no alimenta indicaciones sintéticas de longitud fija, sino que reproduce trayectorias reales de agentes de programación.
Esquema de la trayectoria del agente reproducida por AA-AgentPerf. A partir de una petición inicial, las llamadas LLM y las llamadas a herramientas avanzan alternativamente hasta que la tarea realmente se completa.
Estas trayectorias se recopilaron haciendo que agentes resolvieran problemas de repositorios de código reales, cubriendo más de 12 lenguajes de programación. Una sesión puede durar hasta 200 turnos, y el contexto supera fácilmente los 100.000 tokens.
La longitud de entrada varía de 5.000 a 130.000 tokens, con un promedio de unos 27.000. Lo que realmente aumenta la longitud no es la indicación inicial en sí, sino los resultados de las herramientas y el historial de la conversación acumulados ronda tras ronda.
Lo más crucial es cómo calcula el resultado.
No busca maximizar la concurrencia extrema. Si la concurrencia se eleva demasiado, cada agente se vuelve lento como un caracol; una alta concurrencia solo sería aparente, no útil.
AA-AgentPerf hace lo contrario: primero fija un estándar de servicio, donde la velocidad de salida y la latencia del primer token (TTFT) de cada agente deben cumplir un umbral; luego observa cuántos agentes puede manejar el sistema manteniendo esa línea.
A este conjunto de restricciones se le llama Objetivo de Nivel de Servicio (SLO).
Este estándar también tiene varios niveles, desde el nivel "suficiente" de 20 tokens por segundo, hasta el nivel "rápido" de 180 tokens por segundo, midiendo la concurrencia máxima para cada nivel por separado, correspondiendo a varios niveles de servicio que existen realmente en el mercado.
Cómo el Objetivo de Nivel de Servicio (SLO) determina la concurrencia máxima. Los puntos verdes son la zona de cumplimiento. Una vez que la concurrencia aumenta y la velocidad cae por debajo del umbral, el límite de concurrencia correspondiente es el resultado de ese sistema.
También hace algo que otros benchmarks rara vez se atreven a hacer: permite todas las optimizaciones que los fabricantes realmente activarían en producción.
La reutilización de caché KV, la decodificación especulativa, la separación de pre-relleno y decodificación en despliegues distintos... todas estas técnicas que antes a menudo se desactivaban por defecto en los benchmarks, ahora están permitidas.
La razón es simple: medir con estas optimizaciones desactivadas carece de sentido.
Al mismo tiempo, también monitorea la calidad de la salida, evitando que una optimización intercambie concurrencia por calidad de respuesta. De esta manera, cada mejora aportada por el avance en hardware y software puede ser medida con precisión.
Finalmente, se resume en una métrica central: Agentes por Megavatio. En un mundo donde la electricidad es cada vez más limitada y el consumo energético es coste, esta métrica es la que realmente les importa a los compradores: de tokens por segundo a agentes por megavatio.
20 veces más por megavatio
40 veces más por GPU
En una prueba que representa uno de los modelos avanzados de Mezcla de Expertos (MoE) más potentes actualmente, el GB300 NVL72 puede soportar 61.400 agentes concurrentes por megavatio, un promedio de 57.5 agentes por GPU.
El grupo de control, el H200, maneja aproximadamente 2.600 por megavatio, solo 1.4 agentes por GPU. Entre ambos, hay una diferencia de aproximadamente 20 veces por megavatio y aproximadamente 40 veces por GPU.
El valor de estos dos números también es diferente.
Por megavatio mide cuánta capacidad productiva de agentes se puede obtener con la misma unidad de energía, es una cuenta de eficiencia; por GPU mide la densidad de servicio de una sola tarjeta, es una cuenta de hardware.
Con estos dos números, se puede calcular directamente a qué escala de aplicación de agentes puede llegar con un presupuesto de energía determinado.
El ranking no incluye solo el GB300 de NVIDIA, sino también el MI355X de AMD. Desde tarjetas individuales hasta servidores completos y racks completos, todos compiten en el mismo escenario.
En los primeros resultados, surgieron claramente dos patrones.
Patrón 1: Los sistemas a nivel de rack son intrínsecamente más eficientes en coste. Pueden distribuir la inferencia de manera más completa, repartiéndola entre más tarjetas, dejando atrás a los nodos individuales tanto en potencia bruta como en eficiencia por megavatio.
Patrón 2: El salto de la generación Hopper a Blackwell ha elevado directamente el nivel de concurrencia que los sistemas pueden manejar a un nuevo nivel, no se trata de pequeñas mejoras.
De la tarjeta única al rack
Una victoria a nivel de sistema
Del H200 al GB300, lo que parece un salto en el rendimiento de una sola tarjeta es, de hecho, una victoria a nivel de sistema.
Lo más crucial es que el GB300 NVL72 conecta 72 GPUs mediante NVLink en una entidad única a nivel de rack.
Para este enorme modelo de Mezcla de Expertos, este es el punto clave: el modelo puede desplegarse por completo, los expertos se ejecutan en paralelo en un conjunto completo de GPUs, en lugar de apretujarse y consumir recursos en una sola tarjeta.
Los núcleos CUDA han realizado optimizaciones adicionales, superponiendo la comunicación y el cálculo entre expertos, permitiendo que la sobrecarga de coordinar a los diferentes expertos sea absorbida silenciosamente por la potencia de cálculo, en lugar de acumularse como latencia.
TensorRT-LLM se encarga de mantener la eficiencia mientras las sesiones concurrentes aumentan constantemente, por ejemplo, separando el procesamiento de la entrada y la generación de la salida en dos tareas optimizadas de forma independiente.
En resumen, el resultado de esta prueba es el efecto conjunto del hardware, la interconexión y la pila de software.
Rack GB300 NVL72. 72 GPUs conectadas mediante NVLink forman una única entidad de alto ancho de banda, la base de hardware que permite la operación coordinada de 60.000 agentes.
Soldar 72 tarjetas en una entidad única de alto ancho de banda, donde cada GPU puede compartir rápidamente parámetros, caché KV y resultados intermedios, es la base que permite que 60.000 agentes funcionen de manera coordinada.
Algunos límites que no se pueden pasar por alto
Hay algunos puntos a tener en cuenta; no se puede equiparar un benchmark con la realidad de producción.
Primero, el número 60.000 no significa que una máquina ejecute simultáneamente 60.000 modelos grandes independientes.
Es una simulación de sesiones concurrentes bajo la definición del benchmark. Cada agente sigue una trayectoria pregrabada, e incluso las llamadas a herramientas no se ejecutan realmente, sino que se simulan con un tiempo fijo de CPU.
Este diseño pretende que el resultado final refleje solo las diferencias en la potencia de cálculo en sí, pero no se puede equiparar directamente con la capacidad de servicio que se puede entregar en un entorno de producción real.
Segundo, el resultado del benchmark no es un Acuerdo de Nivel de Servicio (SLA) de producción.
El propio Artificial Analysis afirma que se trata de una instantánea de vanguardia que aún está cambiando rápidamente; todos los sistemas tienen margen de mejora sin explotar, y los resultados seguirán mejorando con las optimizaciones de software.
Tercero, AA-AgentPerf es actualmente un estándar propuesto por una sola organización.
Es demasiado pronto para concluir si finalmente se convertirá en una vara de medir reconocida por toda la industria, como MLPerf.
Referencias:
https://artificialanalysis.ai/articles/aa-agentperf
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
Este artículo proviene del WeChat Official Account "新智元", autor: ASI启示录, editor: 元宇
