Un mégawatt pour 60 000 agents intelligents, le GB300 de NVIDIA écrase la génération précédente par 20 fois
Selon les résultats du nouveau benchmark AA-AgentPerf, conçu spécifiquement pour mesurer les performances des agents IA, le système GB300 NVL72 de NVIDIA peut gérer jusqu'à 61 400 agents simultanés par mégawatt, soit environ 20 fois plus que la génération précédente H200 (2 600 agents par mégawatt). Cette mesure « agents par mégawatt » devient un indicateur clé, plus pertinent que les tokens par seconde pour évaluer l'efficacité réelle des systèmes d'IA agentique.
Le benchmark AA-AgentPerf, développé par Artificial Analysis, simule le fonctionnement réel d'un agent de programmation, avec des sessions longues (jusqu'à 200 tours) et un contexte pouvant dépasser 100 000 tokens. Il impose des objectifs de niveau de service (SLO) sur la vitesse de génération et la latence pour déterminer le nombre maximal d'agents concurrents qu'un système peut supporter de manière utilisable.
L'écart de performance s'explique par une avancée systémique. Le GB300 NVL72 relie 72 GPU via NVLink en un seul système rack, permettant une répartition optimale des modèles MoE (Mixture of Experts) et une gestion efficace du cache KV et de la communication. Les optimisations logicielles, comme celles de TensorRT-LLM, contribuent également à ces gains.
Il est important de noter que ce benchmark utilise des trajectoires pré-enregistrées et ne reflète pas directement la capacité d'un environnement de production réel. Il représente néanmoins un changement significatif dans la manière d'évaluer la puissance de calcul dédiée aux agents IA, en se concentrant sur le coût énergétique par agent utile plutôt que sur la performance brute.
marsbit07/06 01:07
