一兆瓦养活6万智能体，英伟达GB300碾压前代20倍
英伟达最新发布的GB300 NVL72系统在新型基准测试AA-AgentPerf中表现突出，其每兆瓦电力可支持约61400个智能体并发运行，较上一代H200提升约20倍。该基准由独立机构Artificial Analysis推出，是首个专为AI智能体负载设计的推理性能评估标准。
传统基准主要测量单次、定长的模型请求，而智能体工作负载类似“接力赛”，涉及多轮链式调用、工具交互和不断增长的上下文，对系统压力模式完全不同。AA-AgentPerf通过回放真实编程智能体的任务轨迹进行测试，并设定服务等级目标（如每秒输出token数）来约束性能，最终以“每兆瓦并发智能体数”作为核心能效指标。
测试显示，GB300 NVL72（由72块GPU通过NVLink互联成的机架级系统）在能效和单卡服务密度上均大幅领先。这一成绩源于Blackwell架构的硬件升级、高速互联以及TensorRT-LLM等软件栈优化的系统级协同。
需要指出的是，测试成绩基于模拟的智能体轨迹，与实际生产环境的能力存在差异；该基准尚处发展初期，其能否成为行业广泛认可的标准仍有待观察。
marsbit07/06 01:02
