Un megavatio alimenta 60.000 agentes, el GB300 de NVIDIA supera en 20 veces a su predecesor
NVIDIA anuncia que su nuevo sistema GB300 NVL72, utilizando un consumo de energía de un megavatio, puede manejar concurrentemente hasta 61.400 agentes de IA, una mejora de 20 veces sobre la generación anterior H200 (aproximadamente 2.600 agentes por megavatio). Este rendimiento superior se mide utilizando el nuevo punto de referencia AA-AgentPerf, el primero diseñado específicamente para evaluar la inferencia de "agentes de IA".
A diferencia de los puntos de referencia tradicionales que miden solicitudes únicas, AA-AgentPerf simula la carga de trabajo real de un agente, como un asistente de programación, que ejecuta docenas o cientos de llamadas encadenadas al modelo, intercaladas con llamadas a herramientas, lo que genera contextos largos y variables. La métrica clave es "agentes concurrentes por megavatio", midiendo cuántos agentes activos puede sostener un sistema bajo un objetivo de nivel de servicio (SLO) específico, como generar 20 o 60 tokens por segundo.
La ventaja del GB300 NVL72 no es solo una mejora en el chip, sino una victoria a nivel de sistema. Conecta 72 GPUs en un solo rack mediante NVLink, permitiendo que modelos grandes, como los Mixtos de Expertos (MoE), se distribuyan eficientemente. La optimización del software, incluido TensorRT-LLM, también contribuye. Los resultados muestran que, para un modelo MoE avanzado, el GB300 logra ~57.5 agentes por GPU, frente a ~1.4 del H200, una ventaja de 40 veces por GPU.
Es importante señalar que la prueba simula sesiones pre-grabadas y no refleja directamente la capacidad de producción. AA-AgentPerf es un estándar emergente que busca llenar el vacío para medir el rendimiento de los agentes de IA en condiciones realistas, donde la eficiencia energética y la densidad de servicio son cruciales.
marsbit07/06 01:06
