Coding Agent Index•
Anthropic

Claude Code:Coding Agent Index 得分、性能与价格

性能

Artificial Analysis Coding Agent Index上的性能。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.0 incorporates 3 benchmarks: FrontierCode v1.1, Terminal-Bench 4.0, and SWE-Atlas-QnA-AA · Higher is better
着色方式

Artificial Analysis Coding Agent Index vs. 每个任务的成本

Artificial Analysis Coding Agent Index vs. 每个任务的平均按 token 计费 API 成本(USD)
着色方式
Most attractive quadrant
Pareto line

Token 用量

Artificial Analysis Coding Agent Index上的 token 消耗,包括总用量、token 构成、效率以及各基准测试的细分。

每个任务的 Token 用量

每个任务的平均输入、缓存和输出 token
提示词缓存命中率可能因提供商路由而显著变化,从而实质性地影响实际成本。

Artificial Analysis Coding Agent Index vs. 总 Token

Artificial Analysis Coding Agent Index vs. 每个任务的平均总 Token
着色方式
Most attractive quadrant

成本

基于当前按 token 计费的 API 价格的 Artificial Analysis Coding Agent Index成本,在可用时包括缓存写入价格和缓存折扣。许多用户通过订阅套餐而非按 token 付费来使用编程智能体的 harness。

每个任务的成本

Average pay-per-token API cost per task (USD) · Lower is better
着色方式

执行时间

Artificial Analysis Coding Agent Index上的智能体活跃运行时间。

每个任务的时间

Average agent wall time per task · Lower is better
着色方式

Artificial Analysis Coding Agent Index vs. 执行时间

Artificial Analysis Coding Agent Index vs. 每个任务的平均智能体运行时间
着色方式
Most attractive quadrant

安全拒绝

Artificial Analysis Coding Agent Index 中提供商或模型出于安全原因拒绝继续任务的频率。

安全拒绝率

Share of retained task attempts with a safety refusal · Equal weight per benchmark · Lower is better
分组依据
安全与回退行为由提供商配置,可能随时间变化;这些数值反映的是基准测试时记录的行为。

奖励作弊

原本能够通过、但因完整性违规而被计为零分的尝试,占全部任务尝试的比例。

奖励作弊率:FrontierCode v1.1

Share of task attempts scored zero for reward hacking · 使用 Cognition 规则扫描器的修改版检测对解答材料的违规访问 · Lower is better
着色方式