Muse Code:Coding Agent Index 得分、性能与价格
与其他编程智能体相比,Muse Code 的 Coding Agent Index 得分高于平均水平。此外,其速度快于平均水平。其最佳结果使用 Muse Wonder Full (Max),我们共测试了 6 个模型。
Muse Code 搭配 Muse Wonder Full (Max) 在 Artificial Analysis Coding Agent Index 上的得分为 59,在编程智能体中高于平均水平(中位数:49)。
Muse Code 搭配 Muse Wonder Full (Max) 每项任务耗时 34.9m,快于平均水平(中位数:36.1m)。
性能
Artificial Analysis Coding Agent Index上的性能。
Artificial Analysis Coding Agent Index
Artificial Analysis Coding Agent Index v2.0 incorporates 3 benchmarks: FrontierCode v1.1, Terminal-Bench 4.0, and SWE-Atlas-QnA-AA · Higher is better
着色方式
Artificial Analysis Coding Agent Index vs. 每个任务的成本
Artificial Analysis Coding Agent Index vs. 每个任务的平均按 token 计费 API 成本(USD)
着色方式
Most attractive quadrant
Pareto line
Token 用量
Artificial Analysis Coding Agent Index上的 token 消耗,包括总用量、token 构成、效率以及各基准测试的细分。
每个任务的 Token 用量
每个任务的平均输入、缓存和输出 token
提示词缓存命中率可能因提供商路由而显著变化,从而实质性地影响实际成本。
Artificial Analysis Coding Agent Index vs. 总 Token
Artificial Analysis Coding Agent Index vs. 每个任务的平均总 Token
着色方式
Most attractive quadrant
成本
基于当前按 token 计费的 API 价格的 Artificial Analysis Coding Agent Index成本,在可用时包括缓存写入价格和缓存折扣。许多用户通过订阅套餐而非按 token 付费来使用编程智能体的 harness。
每个任务的成本
Average pay-per-token API cost per task (USD) · Lower is better
着色方式
执行时间
Artificial Analysis Coding Agent Index上的智能体活跃运行时间。
每个任务的时间
Average agent wall time per task · Lower is better
着色方式
Artificial Analysis Coding Agent Index vs. 执行时间
Artificial Analysis Coding Agent Index vs. 每个任务的平均智能体运行时间
着色方式
Most attractive quadrant
安全拒绝
Artificial Analysis Coding Agent Index 中提供商或模型出于安全原因拒绝继续任务的频率。
安全拒绝率
Share of retained task attempts with a safety refusal · Equal weight per benchmark · Lower is better
分组依据
安全与回退行为由提供商配置,可能随时间变化;这些数值反映的是基准测试时记录的行为。
奖励作弊
原本能够通过、但因完整性违规而被计为零分的尝试,占全部任务尝试的比例。
奖励作弊率:FrontierCode v1.1
Share of task attempts scored zero for reward hacking · 使用 Cognition 规则扫描器的修改版检测对解答材料的违规访问 · Lower is better
着色方式