新智元报道

【新智元导读】传统的兆瓦FLOPS（浮点运算次数）已无法准确衡量AI智能体（AI Agent）的算力需求。英伟达最新发布的养活英伟压前GB300 NVL72凭借全新基准测试，展现出超越上代产品20倍的体B碾能效优势。

在同等1兆瓦（MW）电力消耗下，达G代倍英伟达GB300 NVL72可同时承载约61,兆瓦400个智能体并发运行，而上一代旗舰H200仅能支撑约2,养活英伟压前600个。这一差距高达20倍。体B碾

根据英伟达公布的达G代倍AA-AgentPerf基准测试结果，在每秒20个token（基础服务）与60个token（高性能服务）两种标准下，兆瓦GB300 NVL72的养活英伟压前“每兆瓦并发智能体数”均约为H200的20倍。

6月12日，体B碾英伟达公布该数据初期，达G代倍外界多视为又一次性能炫技。兆瓦然而，养活英伟压前真正的体B碾变革在于衡量算力的标准发生了根本性转移。

这一新基准由独立评测机构Artificial Analysis发布，名为AA-AgentPerf，被业界称为首个专为“AI智能体”设计的推理基准测试。

其核心指标摒弃了传统的“每秒Token数”，转而采用“每兆瓦并发智能体数（Agents per Megawatt）”。

通俗而言，该指标衡量的是：在提供1兆瓦电力的前提下，系统能同时“养活”多少个活跃的智能体。

既然FLOPS和Token吞吐量已沿用多年，为何此时急需AA-AgentPerf这一新基准？

旧尺子：量不动智能体负载

要理解这一变革，必须厘清智能体运行时的真实负载特征。

Artificial Analysis指出，2026年主流的AI负载形态，已与早期基准测试所针对的场景截然不同。旧基准主要测量固定长度的合成请求，且往往在生产环境中禁用了关键优化手段。

英伟达用“接力赛”比喻智能体负载与单次对话的区别：

• 单次对话：如同百米冲刺，模型接收一个问题，生成回答，任务结束。
• 智能体工作：如同接力长跑。它将一个大目标拆解为数十甚至上百个子步骤（读取文件、编写代码、执行命令、检查结果），并据此决定下一步行动。

在这个过程中，数十次大模型调用串联成链，每一次调用都将不断增长的上下文传递给下一环节，并伴随编译、数据库查询、网络搜索等工具调用。这种复杂度并非线性叠加，而是呈指数级倍增。

英伟达关于智能体负载的比喻：一个目标被拆解为数十上百步，大模型调用与工具调用交替进行，形成不断延长的处理链条。

现有推理基准的局限性正源于此：

1. 测试维度偏差：现有基准多关注单次请求的响应时间及单机并发上限，未针对智能体的链式调用、工具等待及上下文膨胀进行优化。
2. 长会话盲区：长上下文会话中，前缀信息会反复出现。能否高效缓存这些重复内容（KV Cache复用），直接决定算力节省程度。
3. 调度压力：工具调用导致上下文长度剧烈波动，而输出往往较短。这种“忽长忽短”的节奏对调度器和显存层级提出极高要求，固定长度的合成测试无法模拟此场景。

对于数据中心建设者而言，核心关切并非理论峰值，而是“每度电、每块GPU能支撑多少实际工作的智能体”。旧基准无法回答这一商业核心问题。

新标准：AA-AgentPerf的设计逻辑

AA-AgentPerf通过以下机制重构测试体系：

1. 真实轨迹回放

摒弃固定长度的合成提示词，采用真实编程智能体的运行轨迹。
* 数据来源：智能体解决真实代码仓库问题的记录。
* 覆盖范围：12种以上编程语言。
* 复杂度：单会话最长200轮，上下文突破10万token。
* 输入规模：5,000至130,000 token不等（平均2.7万token）。上下文膨胀主要源于累积的工具输出和对话历史，而非初始提示词。

AA-AgentPerf测试示意：从单一请求出发，LLM调用与工具调用交替推进，直至任务闭环。

2. 基于SLO的并发上限测试

不盲目追求极致并发，而是设定服务等级目标（SLO）：
* 约束条件：锁定每个智能体的输出速度（Token/s）和首字延迟（TTFT）。
* 测试方法：在满足SLO的前提下，测试系统能维持的最大并发智能体数量。
* 分级标准：设置多档SLO（如20 token/s至180 token/s），对应不同层级的服务水平。

SLO与并发上限关系：绿色区域为达标区。当并发量增加导致速度跌破SLO阈值时，对应的并发量即为系统成绩。

3. 开放生产环境优化

允许启用所有生产环境中的关键优化技术，包括：
* KV Cache复用
* 推测解码（Speculative Decoding）
* 预填充（Prefill）与解码（Decode）分离部署

此举旨在消除“关闭优化”带来的失真，确保测试结果反映真实生产效能。同时，测试严格监控输出质量，防止通过牺牲准确性来换取并发数。

最终核心指标回归至每兆瓦并发智能体数，直击电力成本与算力产出的商业本质。

性能解析：每兆瓦领先20倍，每GPU领先40倍

在前沿混合专家（MoE）模型测试中，GB300 NVL72展现出统治级表现：

• 每兆瓦（Agents/MW）：衡量能效比，反映单位电力成本下的产能。
• 每GPU（Agents/GPU）：衡量硬件密度，反映单卡服务负载能力。

这两个指标共同构成了评估智能体应用规模与成本效益的核心依据。

榜单同时纳入AMD MI355X进行对比，揭示出两条关键规律：

1. 机架级系统优势：通过更充分的推理拆分与多卡协同，机架级系统在纯算力与能效比上显著优于单节点系统。
2. 架构代际跨越：从Hopper（H200）到Blackwell（GB300）的迭代，带来了并发承载能力的阶跃式提升，而非渐进式改进。

系统级胜利：从单卡到机架

GB300 NVL72的成功不仅是单芯片性能的飞跃，更是系统级工程的胜利。

• NVLink互联：72块GPU通过NVLink连接为单一高带宽整体，实现参数、KV Cache及中间结果的极速共享。
• MoE并行优化：CUDA核心优化了跨专家通信，将协调开销与计算过程重叠，避免时延堆积。
• TensorRT-LLM调度：将输入处理与输出生成解耦，分别优化，确保在高并发会话下的效率稳定性。

GB300 NVL72机架架构：72块GPU经NVLink整合为高带宽整体，构成支撑6万智能体协同运行的硬件底座。

边界与局限：基准不等于生产现实

尽管数据亮眼，但需理性看待基准测试与生产环境的差异：

1. 模拟而非真实执行：
2. “6万智能体”为基准定义下的并发会话模拟。
3. 智能体轨迹为预录制数据，工具调用通过固定CPU耗时模拟，并未真实执行外部操作。

4. 此设计旨在隔离算力差异，但与真实生产环境的服务交付能力存在差距。

5. 动态演进的标准：

6. Artificial Analysis指出，该基准为前沿快照。随着软件优化深入，各系统性能仍有提升空间，成绩非静态终点。

7. 行业标准尚未确立：

8. AA-AgentPerf目前为单一机构标准。其能否成为如MLPerf般的行业通用标尺，仍需时间验证。

参考资料：
* https://artificialanalysis.ai/articles/aa-agentperf
* https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/

编辑：元宇