Avec la même puissance d'un mégawatt, le dernier GB300 NVL72 de NVIDIA peut gérer simultanément 61 400 agents intelligents, tandis que la génération précédente H200 n'en gérait qu'environ 2 600.
Soit un écart de 20 fois.
Le score AA-AgentPerf publié par NVIDIA : À des standards de service de 20 et 60 tokens par seconde, le GB300 NVL72 atteint environ 20 fois le nombre d'agents intelligents simultanés par mégawatt par rapport au H200.
Quand NVIDIA a dévoilé ces chiffres le 12 juin, la première réaction a été de voir une nouvelle démonstration de performance.
Mais ce qui a vraiment changé, ce n'est pas à quel point la puce de cette génération est puissante, mais l'outil de mesure lui-même.
C'est le nouveau benchmark publié par l'organisme d'évaluation indépendant Artificial Analysis : AA-AgentPerf.
Artificial Analysis le décrit dans son blog officiel comme le premier benchmark de raisonnement conçu spécifiquement pour les « agents d'IA (AI agent) ».
Son principal indicateur est également différent : ce n'est pas le nombre de tokens par seconde, mais le « nombre d'agents simultanés par mégawatt (Agents per Megawatt) ».
En termes simples, il s'agit du nombre d'agents intelligents qu'un système peut « faire vivre » simultanément pour chaque mégawatt d'électricité fourni.
Les FLOPS ont été mesurés pendant des années, et les tokens par seconde fonctionnaient bien, pourquoi alors introduire ce nouveau benchmark AA-AgentPerf ?
L'ancienne mesure
Ne parvient plus à évaluer les agents intelligents
Pour répondre à cette question, il faut d'abord comprendre quelle charge représente réellement le fonctionnement d'un agent intelligent.
Le jugement d'Artificial Analysis est clair : en 2026, la charge de travail IA la plus répandue n'a plus rien à voir avec ce que visaient les anciens benchmarks lors de leur conception : les anciens benchmarks mesuraient des requêtes synthétiques de longueur fixe, tout en désactivant par la même occasion les optimisations réellement utilisées en production.
NVIDIA a également donné une analogie pertinente :
Un dialogue ordinaire, c'est un sprint de 100 mètres : le modèle reçoit une question, fournit une réponse, fini ; mais le travail d'un agent intelligent ressemble plus à une course de relais.
Il décompose un objectif en dizaines voire centaines d'étapes : lire un fichier, écrire du code, exécuter une commande, analyser le résultat, décider de l'étape suivante, un relais après l'autre, jusqu'à ce que la tâche soit réellement accomplie.
Tout au long de ce processus, des dizaines, voire des centaines d'appels au grand modèle sont enchaînés, chacun transmettant un contexte de plus en plus long au relais suivant, le tout entrecoupé d'appels à des outils comme la compilation, les requêtes en base de données ou les recherches.
La complexité ne s'additionne pas simplement, elle se multiplie couche après couche.
NVIDIA utilise la métaphore du « relais » pour décrire la charge des agents intelligents. Un objectif est divisé en dizaines ou centaines d'étapes, les appels au grand modèle et aux outils s'enchaînant, formant une longue chaîne qui s'allonge sans cesse.
C'est précisément là que réside le problème.
Les benchmarks de raisonnement existants sur le marché mesurent des appels uniques : le temps entre l'envoi d'une requête et sa réponse, le nombre de requêtes qu'une machine peut gérer simultanément.
Ils n'ont pas été conçus pour les agents intelligents. La manière dont les appels en chaîne, l'attente des outils, l'expansion du contexte sollicitent le système est complètement différente de celle d'une requête unique.
Rien que les longues sessions révèlent des angles morts des anciens benchmarks : un même long préfixe va apparaître tour après tour. Celui qui peut le mettre en cache pour éviter de le recalculer à chaque fois réalise d'énormes économies de puissance de calcul.
Ajoutez à cela le fait que les résultats d'outils font exploser le contexte, alors que la sortie ne fait souvent que quelques centaines de tokens. La capacité de l'ordonnanceur et de la hiérarchie de mémoire à supporter ce rythme saccadé, alternant phases longues et courtes, détermine directement si un système fonctionne de manière fluide ou s'effondre sur-le-champ.
C'est précisément ce que les tests synthétiques de longueur fixe ne peuvent pas atteindre.
Pour ceux qui investissent de l'argent réel dans l'achat de cartes et la construction de centres de données, ce qui les intéresse vraiment, c'est le nombre d'agents intelligents productifs que ce système peut faire vivre simultanément, et le rendement utile obtenu pour chaque kilowatt-heure et chaque GPU.
Les anciens benchmarks ne peuvent pas répondre à ces questions.
Le premier outil de mesure conçu pour les agents intelligents
L'approche d'AA-AgentPerf diffère des anciens benchmarks : il ne fournit pas d'invites synthétiques de longueur fixe, mais rejoue les traces réelles d'agents de programmation.
Illustration de la relecture des traces d'agent par AA-AgentPerf. À partir d'une requête initiale, les appels LLM et les appels d'outils alternent jusqu'à l'achèvement réel de la tâche.
Ces traces ont été accumulées en faisant résoudre à des agents intelligents des problèmes provenant de dépôts de code réels, couvrant plus de 12 langages de programmation. Une session peut durer jusqu'à 200 tours, dépassant facilement les 100 000 tokens de contexte.
La longueur des entrées varie de 5 000 à 130 000 tokens, avec une moyenne d'environ 27 000. Ce qui fait vraiment gonfler la longueur, ce n'est pas l'invite elle-même, mais les sorties d'outils et l'historique des conversations qui s'accumulent tour après tour.
Plus crucial encore, c'est la manière dont il calcule les résultats.
Il ne cherche pas à pousser le nombre de requêtes simultanées à l'extrême. Si la concurrence est trop élevée, chaque agent intelligent devient lent comme un escargot ; un nombre élevé de requêtes simultanées devient alors inutile.
AA-AgentPerf adopte l'approche inverse : il fixe d'abord un standard de service, où la vitesse de sortie et la latence du premier token (TTFT) de chaque agent intelligent doivent atteindre une cible, puis il regarde combien d'agents intelligents le système peut supporter tout en maintenant cette ligne.
Cet ensemble de contraintes a un nom : Objectif de Niveau de Service (SLO).
Ce standard est également divisé en plusieurs niveaux, du niveau « suffisant » à 20 tokens par seconde au niveau « ultra-rapide » à 180 tokens par seconde, chaque niveau testant séparément la concurrence maximale, correspondant à plusieurs niveaux de service existant réellement sur le marché.
Comment l'Objectif de Niveau de Service (SLO) limite la concurrence maximale. Les points verts représentent la zone de conformité. Une fois que la concurrence augmente et que la vitesse tombe en dessous du seuil, le plafond de concurrence correspondant devient le résultat de ce système.
Il fait également quelque chose que d'autres benchmarks n'osent généralement pas faire : il autorise toutes les optimisations que les fabricants activent réellement en production.
La réutilisation du cache KV, le décodage spéculatif, le déploiement séparé du pré-remplissage et du décodage, ces techniques souvent désactivées d'un coup par les benchmarks sont toutes autorisées cette fois-ci.
La raison est simple : les mesurer en les désactivant n'a aucun sens.
Simultanément, il surveille la qualité de la sortie, empêchant une optimisation d'échanger le nombre de requêtes simultanées contre une qualité de réponse inférieure. Ainsi, chaque amélioration apportée par les progrès matériels et logiciels peut être mesurée fidèlement.
Le résultat final aboutit à un indicateur clé : le nombre d'agents simultanés par mégawatt. Dans un monde où l'électricité se fait de plus en plus rare et où la consommation énergétique représente un coût, cet indicateur est celui qui intéresse vraiment les acheteurs : des tokens par seconde aux agents par mégawatt.
20 fois plus par mégawatt
40 fois plus par GPU
Dans un test représentatif des modèles de pointe actuels de type Mélange d'Experts (MoE), le GB300 NVL72 peut supporter 61 400 agents intelligents simultanés par mégawatt, soit en moyenne 57,5 agents par GPU.
Le groupe de contrôle H200 atteint environ 2 600 agents par mégawatt, et seulement 1,4 agent par GPU. L'écart est d'environ 20 fois par mégawatt et d'environ 40 fois par GPU.
La signification de ces deux nombres est également différente.
Le nombre par mégawatt mesure combien de capacité d'agents intelligents peut être obtenue avec la même quantité d'énergie, c'est une question d'efficacité énergétique ; tandis que le nombre par GPU mesure la densité de service d'une seule carte, c'est une question de matériel.
Avec ces deux nombres, on peut directement calculer l'échelle des applications d'agents intelligents que l'on peut exécuter avec son propre budget électrique.
Le classement ne se limite pas au GB300 de NVIDIA, il inclut également le MI355X d'AMD. Des configurations de carte unique, de serveur complet et de baie complète sont toutes présentées en compétition sur la même plateforme.
Les premiers résultats ont fait ressortir deux tendances très nettes.
Tendance 1 : Les systèmes de niveau baie sont naturellement plus économiques. Ils peuvent répartir plus efficacement le raisonnement sur davantage de cartes, que ce soit en termes de puissance de calcul pure ou d'efficacité énergétique par mégawatt, laissant derrière eux les nœuds uniques.
Tendance 2 : Le bond de la génération Hopper à Blackwell a propulsé le nombre de requêtes simultanées que le système peut supporter directement à un nouveau niveau, il ne s'agit pas de simples ajustements mineurs.
De la carte unique à la baie
Une victoire au niveau système
Du H200 au GB300, cela peut sembler être un bond en avant des performances par carte, mais en réalité, c'est une victoire au niveau du système.
Plus crucial encore, le GB300 NVL72 relie 72 GPU avec NVLink pour former un ensemble de niveau baie.
Pour ce type de modèle massif de type Mélange d'Experts, c'est là que réside l'enjeu : le modèle peut être entièrement réparti, les experts exécutés en parallèle sur toute une série de GPU, plutôt que de s'entasser dans une seule carte et de gaspiller des ressources.
Les cœurs CUDA ont été davantage optimisés en arrière-plan, chevauchant la communication et le calcul entre experts, permettant aux coûts de coordination des différents experts d'être absorbés discrètement par la puissance de calcul, plutôt que de s'accumuler sous forme de latence.
TensorRT-LLM, quant à lui, est responsable de maintenir l'efficacité lorsque le nombre de sessions simultanées augmente constamment, par exemple en séparant le traitement des entrées et la génération des sorties en deux tâches distinctes, chacune optimisée individuellement.
En clair, ce résultat de test est le fruit de l'action conjointe du matériel, de l'interconnexion et de la pile logicielle.
La baie GB300 NVL72. 72 GPU reliés par NVLink forment un ensemble unique à haute bande passante, c'est la base matérielle qui permet à 60 000 agents intelligents de fonctionner en coordination.
Souder 72 cartes en un ensemble cohérent à haute bande passante, où chaque GPU peut partager rapidement les paramètres, le cache KV et les résultats intermédiaires, voilà ce qui donne la confiance nécessaire pour faire fonctionner 60 000 agents intelligents de manière coordonnée.
Quelques limites à ne pas négliger
Il y a quelques points à noter ici, il ne faut pas confondre les benchmarks avec la réalité de la production.
Premièrement, le chiffre de 60 000 ne signifie pas qu'une machine exécute simultanément 60 000 grands modèles indépendants.
C'est une simulation de sessions simultanées selon la définition du benchmark. Chaque agent intelligent suit une trace préenregistrée, et même les appels d'outils ne sont pas réellement exécutés, mais simulés par une durée CPU fixe.
Cette conception vise à ce que le résultat final ne reflète que les différences de puissance de calcul elle-même, mais elle n'est pas directement équivalente à la capacité de service réellement délivrée en environnement de production.
Deuxièmement, les résultats des benchmarks ne sont pas des accords de niveau de service de production.
Artificial Analysis le dit lui-même : il s'agit d'un instantané d'un domaine en évolution rapide, les systèmes des différents fabricants ont encore des marges d'amélioration non exploitées, et les résultats continueront de s'améliorer avec les optimisations logicielles.
Troisièmement, AA-AgentPerf est actuellement une norme proposée par un seul organisme.
Il est encore trop tôt pour dire s'il finira par devenir une mesure standard reconnue par toute l'industrie, comme MLPerf.
Références :
https://artificialanalysis.ai/articles/aa-agentperf
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
Cet article provient du compte officiel WeChat « New Zhi Yuan », auteur : ASI Apocalypse, éditeur : Yuan Yu
