编程智能体基准测试

Codex 与 Mistral Vibe

根据 Artificial Analysis Coding Agent Index比较 Codex 与 Mistral Vibe,包括基准测试得分、成本、执行时间和 token 用量。

有关我们方法论的详细信息,请参阅方法论页面。

浏览其他比较
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
Average agent wall time per task · Lower is better
Average API cost per task (USD) · Lower is better

比较

Codex 与 Mistral Vibe 的并排比较。

指标
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
分析
智能体 Harness
Codex
Mistral Vibe
代表模型
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
Coding Agent Index
53
41
Codex 的 Coding Agent Index 高于 Mistral Vibe
FrontierCode-AA 2.0
42
20
Codex 的 FrontierCode-AA 2.0 分数高于 Mistral Vibe
Terminal-Bench 4.1
64
42
Codex 的 Terminal-Bench 4.1 分数高于 Mistral Vibe
SWE-Atlas-QnA-AA
55
59
Mistral Vibe 的 SWE-Atlas-QnA-AA 分数高于 Codex
每个任务的成本
$5.12
$1.34
Mistral Vibe 的每个任务成本低于 Codex
每个任务的时间
25.1m
49.0m
Codex 的每个任务时间短于 Mistral Vibe
每个任务的轮次
51
107.3
Codex 的每个任务轮次少于 Mistral Vibe
每个任务的 Token 用量
4.67M
9.42M
Codex 的每个任务 token 用量少于 Mistral Vibe
缓存命中率
95%
92%
Codex 的缓存命中率高于 Mistral Vibe

模型

Codex 与 Mistral Vibe 的已评估模型。

GPT-6.2 Astra (Max)
max
53
42
64
55
$5.12
25.1m
4.67M
GPT-6.2 Astra (Xhigh)
xhigh
53
43
62
54
$3.20
16.5m
3.09M
GPT-6 Astra (Max)
max
53
43
58
59
$7.63
26.0m
3.47M
GPT-6.2 Astra (High)
high
52
42
60
55
$2.37
15.8m
2.26M
GPT-6.1 Sol (Max)
max
52
42
54
60
$1.51
21.9m
4.33M
GPT-6.2 Sol (Xhigh)
xhigh
50
40
58
51
$0.90
12.6m
3.26M
GPT-6.2 Astra (Medium)
medium
49
40
54
54
$1.20
11.6m
1.02M
GPT-6.1 Terra (Max)
max
49
41
51
54
$1.53
28.1m
14.4M
GPT-6.2 Sol (Max)
max
49
42
58
46
$1.22
17.5m
4.25M
GPT-6.2 Sol (High)
high
47
38
54
51
$0.76
10.6m
2.96M
GPT-6.2 Sol (Medium)
medium
45
36
49
50
$0.57
8.4m
2.28M
GPT-6.2 Sol (Low)
low
37
28
41
42
$0.33
7.2m
1.31M
GPT-6.2 Astra (Low)
low
36
27
44
36
$0.70
7.8m
551k
GPT-6 Luna (Max)
max
26
24
15
38
$0.19
23.5m
10.1M
Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M

性能

Artificial Analysis Coding Agent Index上的性能。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
着色方式

Artificial Analysis Coding Agent Index vs. 每个任务的成本

Artificial Analysis Coding Agent Index vs. 每个任务的平均按 token 计费 API 成本(USD)
着色方式
Most attractive quadrant
Pareto line

Token 用量

Artificial Analysis Coding Agent Index上的 token 消耗。

每个任务的 Token 用量

每个任务的平均输入、缓存和输出 token
提示词缓存命中率可能因提供商路由而显著变化,从而实质性地影响实际成本。

Artificial Analysis Coding Agent Index vs. 总 Token

Artificial Analysis Coding Agent Index vs. 每个任务的平均总 Token
着色方式
Most attractive quadrant

成本

基于当前按 token 计费价格的 Artificial Analysis Coding Agent Index按 token 计费 API 成本。

每个任务的成本

Average pay-per-token API cost per task (USD) · Lower is better
着色方式

执行时间

Artificial Analysis Coding Agent Index上的智能体活跃运行时间。

每个任务的时间

Average agent wall time per task · Lower is better
着色方式

Artificial Analysis Coding Agent Index vs. 执行时间

Artificial Analysis Coding Agent Index vs. 每个任务的平均智能体运行时间
着色方式
Most attractive quadrant