Artificial Analysis 语言模型 API 性能基准测试方法论
概述
衡量 LLM 性能需要向 LLM 发送提示词,并测量其输出的各项特征。我们在多种测试工作负载上衡量性能。
工作负载类型
| 工作负载类型 | 说明 |
|---|---|
| 1k 输入 Token | 单个请求,约 1,000 个输入 token |
| 10k 输入 Token | 单个请求,约 10,000 个输入 token |
| 100k 输入 Token | 单个请求,约 100,000 个输入 token |
| 多轮智能体 | 来自我们编程、知识工作和自动化评估的多轮智能体任务 |
负载
我们在并发负载下测量每个工作负载,以更好地反映接入点在生产环境中的表现。
测试频率
- 我们每 6 小时在一系列工作负载上运行一次基准测试
- 我们每 18 小时测量一次已弃用模型的接入点
提示词生成
每次运行都从一个规模大、类型多样的集合中选取提示词和任务,并将相同的内容发送到该次运行中的每个接入点,确保所有接入点在相同的工作上进行比较。
单次请求的提示词将长篇输入内容与多种任务相结合,并填满各工作负载的目标输入长度。
提示词的多样性对性能基准测试很重要,因为诸如推测解码(speculative decoding)之类的技术意味着,输出速度会随输出类型的不同而变化。
多轮工作负载使用来自我们编程、知识工作和自动化评估的智能体任务,每次运行随机抽取,因此任务会随运行而变化。
测量结果的呈现方式
对于每次运行,我们取每个工作负载样本的中位数:样本是其请求,多轮工作负载则是其会话。接入点在某个工作负载上的值,是过去 5 天内各次运行中位数的平均值。
接入点的主要输出速度、首个答案 Token 延迟和首 Token 延迟是其各工作负载的平均值。每个工作负载的权重相同。如果某个接入点缺少某个工作负载的测量数据,例如提示词超出其上下文窗口,或在不支持函数调用的接入点上调用工具的工作负载,则平均值只涵盖我们测量到的工作负载。
模型的速度和延迟数据来自其代表性接入点,通常是模型开发者自己的 API,我们也用该接入点计算价格。如果模型没有代表性接入点,或过去 5 天内没有该接入点的测量数据,我们取该模型已测接入点的中位数。
关键定义
- 首个答案 Token 延迟: 从向服务或系统发送请求到接收到响应中第一个答案 token 所经过的时间(秒)。对于推理模型,这包括推理所用的时间,因此与首 Token 延迟不同,它以相同方式衡量推理模型和非推理模型等待答案的时间。对于多轮工作负载,我们取一个会话内各轮的平均值。
- 首 Token 延迟: 从向服务或系统发送请求到接收到响应的第一个 token 所经过的时间(秒)。对于会返回推理 token 的推理模型,这里指第一个推理 token。对于多轮工作负载,我们取一个会话内各轮的平均值。
- 输出速度(每秒输出 token 数): 在请求的完整时长内(从发送请求到收到最后一个 token),平均每秒接收到的输出 token 数量,包括推理 token,因此包含首 Token 延迟。对于多轮会话,我们用会话的输出 token 数除以接入点响应其请求所用的时间,不包括请求之间工具运行的时间。
- 端到端时间: 从发送请求到接收到最后一个 token 所经过的时间(秒),对每个请求分别测量。对于多轮会话,它是会话内各请求的总和,不包括请求之间工具运行的时间。
- 接入点错误率: 过去 5 天内接入点请求中因接入点一方原因失败的请求占比。一个多轮会话计为一个请求,只要其中任一请求失败即视为失败。我们排除不归因于接入点的失败,例如无效的 API 密钥、额度耗尽或我方账户的配额、因无效或超出上下文窗口而被拒绝的请求、在给出答案前被我们的 max_tokens 上限截断的响应、安全拦截或沙箱错误。接入点一方的错误会计入,包括其速率限制、超时以及在基准测试截止时仍在运行的请求。跨工作负载时,我们先合并请求再相除。
- 缓存命中率: 可缓存输入 token 中由服务商提示词缓存提供的比例,以服务商 API 在多轮智能体会话中报告的数据为准。我们根据每个接入点的近期测量结果报告其代表性缓存命中率。
技术细节
服务器位置: 我们在 Google Cloud Run 的 us-central1 区域运行基准测试。
测试账户: 我们结合使用匿名账户、带有额度的账户以及专门为基准测试提供的 API 密钥来开展测试。当我们的主要基准测试未使用匿名账户时,我们会另行注册一个匿名账户,并验证性能没有被人为操纵。
API 库: 对于所有声称兼容 OpenAI API 的服务商,我们使用 OpenAI 官方 Python 库,以确保各项测试之间的一致性。对于不兼容 OpenAI 的服务商,我们使用其推荐的客户端库。
缓存命中率测量: 缓存命中率是可缓存的输入 token 中从缓存读取的比例。我们在多轮工作负载中测量该指标。
API 参数: 我们使用以下 API 参数:
- 推理模型使用
temperature: 0.6,非推理模型使用temperature: 0,除非模型开发商另有说明。 - 单次请求工作负载使用
top_p: 1,除非模型开发商另有说明 max_tokens不超过接入点的输出 token 上限,最多 65,536,对于推理通常更长的接入点最多 128,000
Token 计量: 我们在可用时按各服务商 API 报告的数量统计输出 token,无论 API 是否返回推理内容,都包括推理 token。如果服务商未报告,我们会根据响应文本计数。Artificial Analysis Intelligence Index 的评测同样使用各模型 API 服务商所报告的 token 数量(包括缓存输入 token、推理 token 和输出 token),这让我们能够更准确地报告运行 Intelligence Index 的成本。在报告缓存命中率和成本时,我们会将这些数据与对各模型典型缓存命中率的实时测量结合起来,而不是依赖评测运行时的一次性测量。
失败处理: 因接入点一方原因失败的请求,例如服务器错误、速率限制(429)或超时,按输出速度 0 计。失败或未在定时运行内完成的多轮会话,仅计入接入点已响应的请求;若接入点未响应任何请求,则计为 0。我们排除由我方原因导致的失败,例如无效的 API 密钥、额度耗尽或我方账户的配额、沙箱错误。
已知局限
量化: 部分模型使用量化来降低计算需求并提升速度。但量化也可能影响模型质量。我们正在推动对所测试模型使用的量化方法进行完全披露。为了衡量量化等部署方式对质量的影响,我们还对由众多服务商提供、最具代表性的部分开放权重模型运行 Endpoint Accuracy Index。
服务器位置与延迟: 首个答案 Token 延迟和首 Token 延迟都包含网络延迟,因此对服务器位置很敏感。我们的基准测试在 Google Cloud 的 us-central1 区域运行,这可能会因各服务商服务器位置的不同而对其形成优势或劣势。我们正在考虑增加测试地点,以缓解这一影响。
版本历史
版本 3.0.0
2026 年 11 月 3 日
- 工作负载:在单次请求工作负载之外,我们新增了来自编程和知识工作评估、包含工具调用的多轮智能体工作负载,并在相同的持续负载下测量全部工作负载。它们取代了视觉工作负载以及单提示词和并行提示词负载场景。
- 主要输出速度:我们的主要输出速度现在是过去 5 天内所测工作负载的平均值(此前为过去 72 小时内 10k 输入 token 工作负载的中位数)。
- 端到端输出速度:输出速度现在涵盖每个请求的完整时长,包括首 Token 延迟,并在多轮会话中排除工具运行的时间。
- 延迟:我们现在对每个请求实际测量首个答案 Token 延迟和端到端时间(此前根据平均推理 token 数和输出速度估算)。
- Token 计数:我们按各服务商 API 报告的数量统计输出 token(此前为 tiktoken o200k_base)。
- 接入点错误率:我们现在报告每个接入点的请求中因接入点一方原因失败的比例。
- 失败:接入点一方的失败现按输出速度 0 计,我方原因导致的失败则予以排除。
- 频率:我们每 6 小时运行一次基准测试(此前为每 3 小时)。
- 提示词选项:我们移除了“提示词选项”(Prompt Options)页面。按工作负载划分的图表会显示每个工作负载的结果。
版本 2.2.0
2026 年 3 月 2 日
- 提示词更新:我们引入了一套新的提示词,内容更广泛、更多样,涵盖更多任务类型。提示词的多样性很重要,因为诸如推测解码之类的技术意味着,输出速度会随输出类型的不同而变化。
- 默认工作负载变更:本网站的默认速度现在反映的是 10k 输入 token 提示词的结果(此前为 1k),并且我们已弃用 100 输入 token 工作负载的性能测量。在所有页面上,通过选择“提示词选项”(Prompt Options)下拉菜单,仍可查看全部 1k、10k 和 100k 输入 token 工作负载。比较不同工作负载形态下输出速度的最简单方式,是使用“输出速度与输入 Token 数量”(Output Speed by Input Token Count)图表。
诚信条款
背景
Artificial Analysis 是一家独立的 AI 基准测试与洞察分析机构。我们的基准测试被数百万用户和众多机构参考。
我们致力于确保在 Artificial Analysis 上发布的所有数据都公正、透明,并能代表使用我们所覆盖模型和接入点的开发者与机构的典型体验。我们的推理基准测试数据被广泛用作在速度、延迟和质量等维度上比较推理服务商的参考标准。这些测量结果的价值,取决于它们能否反映普通开发者使用某服务商标准的、公开可用接入点时的体验。
这些条款将 Artificial Analysis 自开展推理性能基准测试以来一贯采取的做法正式确立下来。它们同等适用于在 Artificial Analysis 上发布 Serverless 接入点数据的所有推理服务商与平台(合称“服务商”),并确保每一家服务商都在同一公平基础上被衡量。
服务商要求
来自 Artificial Analysis 的流量,必须以任何普通开发者在使用该接入点时所获得的、相同的公开可用配置来提供服务。具体而言,服务商不得:
- 检测、指纹识别或以其他方式识别 Artificial Analysis 的流量(无论是通过账户、API 密钥、IP 地址、请求头、请求负载还是流量模式),并以不同于普通流量的方式为其提供服务。
- 将 Artificial Analysis 的流量路由到专用、预留或非公开的资源,包括独立硬件、容量池、优先级队列,或并非普遍可用的地理区域。
- 向 Artificial Analysis 提供与以相同名称公开宣传并普遍可用的内容不同的模型、量化方式、上下文长度或接入点配置。
- 以不能代表同一接入点上普通流量所获配置的批大小、并发度或负载配置来处理 Artificial Analysis 的流量(例如,以更小的批大小运行基准测试请求,以提高单次请求的速度)。
应要求,服务商必须确认为 Artificial Analysis 流量提供服务的模型版本、精度或量化方式以及上下文长度,并确认这些与标准的公开产品一致。服务商必须确保每一位知晓某接入点正在被 Artificial Analysis 测量的员工、承包商、顾问或关联方都遵守本政策。
属于标准公开产品、且所有开发者均可在同等条件下获得的性能特性(例如自动扩缩容、普遍可用的缓存,或任何客户都可使用的公开发布的分级方案),不构成违规,前提是这些特性并未被有选择地应用于 Artificial Analysis 的流量。
合规流程
Artificial Analysis 全权自主决定收录哪些接入点和服务商。对于不遵守这些条款的任何接入点或服务商,我们保留将其取消收录的权利,也保留出于任何原因拒绝、暂缓或移除任何收录的权利。
我们会对所测量的每一个接入点进行频繁的一致性检查。作为标准做法,我们会在使用 Artificial Analysis 主账户进行测量的同时,使用独立的测试账户进行测量,这些账户的创建和使用方式与普通开发者完全相同。当它们在相同请求负载和相同接入点上返回存在实质性差异的结果时,我们会先展开调查,然后再得出结论。
如果我们发现或有合理理由怀疑 Artificial Analysis 的流量被以不同于标准公开产品的方式提供服务,我们可能会:
- 暂缓发布、移除或延迟发布受影响的测量结果。
- 使用以标准方式公开创建的账户重新测量,并发布这些结果。
- 将该接入点或服务商从性能排行榜和收录列表中移除。
- 在所有排行榜中暂停该服务商。
- 公开披露某服务商向 Artificial Analysis 提供了不具代表性的性能。
通过向 Artificial Analysis 提交接入点,服务商即表示认可这些条款,以及我们共同维护基准测试诚信的承诺。Artificial Analysis 可随时更新本政策。
感谢您的配合。如有任何疑问或顾虑,请联系我们的团队。