AA-AgentPerf 方法论

概述

AA-AgentPerf 是一项硬件基准测试，衡量一个推理部署在真实智能体工作负载下的总吞吐量与每个智能体所获速度之间的权衡。

  • 真实智能体轨迹：多轮编程会话，包含交替出现的推理、工具调用和可变上下文长度（非合成的均匀提示词）。
  • 持续并发负载：每个模拟智能体在整个测试阶段持续保持活跃，对 KV cache 复用、推测解码和调度器行为施加压力。
  • 实时排行榜：我们持续滚动发布结果，新硬件一经可用即纳入测试，并在新的软件栈和模型版本推出后重新测量已有系统。
  • 生产就绪：我们在启用贴近生产环境的优化和生产规模部署拓扑的条件下测试模型。
并发智能体0/ 9推理系统智能体 1智能体 2智能体 3智能体 4智能体 5智能体 6智能体 7智能体 8智能体 9系统吞吐每个智能体的输出速度

每个模拟智能体按顺序执行智能体编程轨迹（推理、调用工具和编辑代码），同时系统进行扩展以支持不断增长的并发量。

数据集

AA-AgentPerf 数据集包含涵盖多种用例、编程语言和模型的真实智能体轨迹。我们在 OpenCode 智能体测试框架中生成这些轨迹，使用三个启用推理的顶尖开源模型（DeepSeek V3.2、GLM 4.7 和 Kimi K2.5），提示其解决真实公开代码仓库中的问题。所有轨迹均包含交替出现的推理和工具调用。

  • Input Sequence Length (ISL)：范围从约 5K 到约 131K token，均值约为 27K token。轨迹会被截断以适应被测模型的最大推荐上下文长度。
  • Output Sequence Length (OSL)：各轮次的输出长度差异很大。有些轮次产生较短的输出（如简单的工具调用），而有些轮次则涉及模型在响应或执行操作之前的大量推理。
  • 编程语言：涵盖 12 种以上编程语言，基于源仓库的主要语言。Python 仓库是最常见的来源，其次是 TypeScript 和 Go。
  • 工具调用延迟：每次工具调用后，我们使用固定的每消息延迟来模拟处理时间，该延迟从真实工具调用时长的分布中采样，并按所调用的工具进行分区。延迟范围从不到 0.1 秒到 5 秒，中位数约为 1 秒。

我们向测试参与者提供一个具有代表性的调优子集（500 条唯一轨迹，共 18,997 条提示词），用于配置验证和性能调优。完整测试数据集保持私有，以防止针对基准测试的定向优化。

帕累托前沿

对于每个系统，我们以服务器总吞吐量相对于每请求输出速度的帕累托前沿形式发布结果。每个点代表一种服务配置在一个并发级别下的结果，前沿保留同一系统上没有其他配置能在吞吐量和速度上同时超越的点。

我们按每个请求计算速度和延迟。由于智能体工作负载中包含大量小 OSL 请求，图表默认采用 P25 输出速度，百分位数基于某一阶段内发送的所有请求计算。

测试执行

我们在一组固定的并发级别下测量每个部署，每个级别对应一个阶段，并使用稳态 token 计时信息计算指标。每个阶段持续运行直至满足以下条件：至少 30 条轨迹已完成、每个模拟智能体已完成至少 3 条轨迹、且至少 10 分钟的稳态测量时间已过。智能体的轨迹分配在各阶段间是确定性的，每个阶段中每条轨迹开头会添加动态生成的前缀，以打破阶段间的前缀缓存。max_tokens 值设为 16K，防止模型陷入重复循环的个别请求对结果产生偏差。

我们使用开发商推荐的采样参数，并在最大可用推理强度下测试每个模型（DeepSeek V4.1 Flash、DeepSeek V4 Pro 0813、Kimi K3、GLM-5.2 和 GLM-5.3 均为 max，Muse Spark Open 为 xhigh），其他参数均设为默认值。

指标与结果

我们在每个测试阶段计算以下指标：

  • 首 Token 延迟 (TTFT)：每请求延迟，从发送请求到收到第一个输出 token 的时间。
  • 输出速度：每请求每秒输出 token 数，从收到第一个 token 后开始计算。
  • 服务器总吞吐量：所有并发智能体每秒的输入和输出 token 总数，以服务端报告为准。输入包含从 KV 缓存提供的提示词 token。

所有指标均过滤至稳态时段，即所有智能体在目标并发量下已活跃至少 30 秒。速度指标使用推理框架返回的用量元数据中的服务端 token 计数，并通过候选模型的原生分词器进行本地分词验证。我们在实际测试期间测量每个加速器的功耗。我们将主要结果（服务器总吞吐量）按 MW、按加速器以及按每小时加速器租赁费用（美元）进行归一化。每 MW 数据基于负载下测量的加速器功耗（GPU 芯片 + HBM），而非额定 TDP。租赁价格来自 Silicon Data；对于 Silicon Data 未提供价格的芯片，采用我们自己的估算值。

我们在 Artificial Analysis 排行榜上发布结果，并附上各供应商披露的完整系统配置。供应商可在发布前审核其结果的事实准确性。

提交

如果您是硬件供应商，有意提交您的系统参加 AA-AgentPerf 评测且尚未与我们取得联系，请发送邮件至 agentperf@artificialanalysis.ai。