编程智能体基准测试

Mistral Vibe 与 Muse Code

根据 Artificial Analysis Coding Agent Index比较 Mistral Vibe 与 Muse Code,包括基准测试得分、成本、执行时间和 token 用量。

有关我们方法论的详细信息,请参阅方法论页面。

浏览其他比较
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
No publicly available API
Average agent wall time per task · Lower is better
No publicly available API
Average API cost per task (USD) · Lower is better

比较

Mistral Vibe 与 Muse Code 的并排比较。

指标
Mistral Large 4 (High)
Muse Wonder Full (Max)
分析
智能体 Harness
Mistral Vibe
Muse Code
代表模型
Mistral Large 4 (High)
Muse Wonder Full (Max)
Coding Agent Index
41
54
Muse Code 的 Coding Agent Index 高于 Mistral Vibe
FrontierCode-AA 2.0
20
35
Muse Code 的 FrontierCode-AA 2.0 分数高于 Mistral Vibe
Terminal-Bench 4.1
42
60
Muse Code 的 Terminal-Bench 4.1 分数高于 Mistral Vibe
SWE-Atlas-QnA-AA
59
69
Muse Code 的 SWE-Atlas-QnA-AA 分数高于 Mistral Vibe
每个任务的成本
$1.34
-
无法比较
每个任务的时间
49.0m
33.7m
Muse Code 的每个任务时间短于 Mistral Vibe
每个任务的轮次
107.3
202.4
Mistral Vibe 的每个任务轮次少于 Muse Code
每个任务的 Token 用量
9.42M
15.7M
Mistral Vibe 的每个任务 token 用量少于 Muse Code
缓存命中率
92%
96%
Muse Code 的缓存命中率高于 Mistral Vibe

模型

Mistral Vibe 与 Muse Code 的已评估模型。

Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M
Muse Wonder Full (Max)
max
54
35
60
69
-
33.7m
15.7M
Muse Wonder (Max)
max
44
24
47
62
$7.59
27.2m
16M
Muse Ember (Max)
max
40
21
43
55
$0.22
19.9m
21.2M
Muse Spark 1.3 (Max)
max
37
22
30
59
$4.34
24.4m
20M

性能

Artificial Analysis Coding Agent Index上的性能。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
着色方式
无公开 API

Artificial Analysis Coding Agent Index vs. 每个任务的成本

Artificial Analysis Coding Agent Index vs. 每个任务的平均按 token 计费 API 成本(USD)
着色方式
Most attractive quadrant

Token 用量

Artificial Analysis Coding Agent Index上的 token 消耗。

每个任务的 Token 用量

每个任务的平均输入、缓存和输出 token
提示词缓存命中率可能因提供商路由而显著变化,从而实质性地影响实际成本。

Artificial Analysis Coding Agent Index vs. 总 Token

Artificial Analysis Coding Agent Index vs. 每个任务的平均总 Token
着色方式
Most attractive quadrant

成本

基于当前按 token 计费价格的 Artificial Analysis Coding Agent Index按 token 计费 API 成本。

每个任务的成本

Average pay-per-token API cost per task (USD) · Lower is better
着色方式

执行时间

Artificial Analysis Coding Agent Index上的智能体活跃运行时间。

每个任务的时间

Average agent wall time per task · Lower is better
着色方式
无公开 API

Artificial Analysis Coding Agent Index vs. 执行时间

Artificial Analysis Coding Agent Index vs. 每个任务的平均智能体运行时间
着色方式
Most attractive quadrant