コーディングエージェントベンチマーク

CodexとMistral Vibe

CodexとMistral VibeをArtificial Analysis Coding Agent Indexのベンチマークスコア、コスト、実行時間、トークン使用量で比較します。

詳しい方法論は、方法論ページをご覧ください。

ほかの比較を見る
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
Average agent wall time per task · Lower is better
Average API cost per task (USD) · Lower is better

比較

Codex と Mistral Vibe の並列比較。

指標
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
分析
エージェントハーネス
Codex
Mistral Vibe
代表モデル
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
Coding Agent Index
53
41
Codex は Mistral Vibe よりCoding Agent Indexが高いです
FrontierCode-AA 2.0
42
20
Codex は Mistral Vibe より FrontierCode-AA 2.0 のスコアが高いです
Terminal-Bench 4.1
64
42
Codex は Mistral Vibe より Terminal-Bench 4.1 のスコアが高いです
SWE-Atlas-QnA-AA
55
59
Mistral Vibe は Codex より SWE-Atlas-QnA-AA のスコアが高いです
タスクあたりのコスト
$5.12
$1.34
Mistral Vibe は Codex よりタスクあたりのコストが低いです
タスクあたりの時間
25.1m
49.0m
Codex は Mistral Vibe よりタスクあたりの時間が短いです
タスクあたりのターン数
51
107.3
Codex は Mistral Vibe よりタスクあたりのターン数が少ないです
タスクあたりのトークン使用量
4.67M
9.42M
Codex は Mistral Vibe よりタスクあたりのトークン使用量が少ないです
キャッシュヒット率
95%
92%
Codex は Mistral Vibe よりキャッシュヒット率が高いです

モデル

Codex と Mistral Vibe の評価済みモデル。

GPT-6.2 Astra (Max)
max
53
42
64
55
$5.12
25.1m
4.67M
GPT-6.2 Astra (Xhigh)
xhigh
53
43
62
54
$3.20
16.5m
3.09M
GPT-6 Astra (Max)
max
53
43
58
59
$7.63
26.0m
3.47M
GPT-6.2 Astra (High)
high
52
42
60
55
$2.37
15.8m
2.26M
GPT-6.1 Sol (Max)
max
52
42
54
60
$1.51
21.9m
4.33M
GPT-6.2 Sol (Xhigh)
xhigh
50
40
58
51
$0.90
12.6m
3.26M
GPT-6.2 Astra (Medium)
medium
49
40
54
54
$1.20
11.6m
1.02M
GPT-6.1 Terra (Max)
max
49
41
51
54
$1.53
28.1m
14.4M
GPT-6.2 Sol (Max)
max
49
42
58
46
$1.22
17.5m
4.25M
GPT-6.2 Sol (High)
high
47
38
54
51
$0.76
10.6m
2.96M
GPT-6.2 Sol (Medium)
medium
45
36
49
50
$0.57
8.4m
2.28M
GPT-6.2 Sol (Low)
low
37
28
41
42
$0.33
7.2m
1.31M
GPT-6.2 Astra (Low)
low
36
27
44
36
$0.70
7.8m
551k
GPT-6 Luna (Max)
max
26
24
15
38
$0.19
23.5m
10.1M
Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M

パフォーマンス

Artificial Analysis Coding Agent Indexにおけるパフォーマンス。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
色分け

Artificial Analysis Coding Agent Index vs. タスクあたりのコスト

Artificial Analysis Coding Agent Index vs. タスクあたりの平均トークン従量課金APIコスト(USD)
色分け
Most attractive quadrant
Pareto line

トークン使用量

Artificial Analysis Coding Agent Indexにおけるトークン消費量。

タスクあたりのトークン使用量

タスクあたりの入力・キャッシュ・出力トークンの平均
プロンプトキャッシュのヒット率はプロバイダーのルーティングによって大きく変わる可能性があり、実効コストに大きく影響することがあります。

Artificial Analysis Coding Agent Index vs. 合計トークン

Artificial Analysis Coding Agent Index vs. タスクあたりの平均合計トークン
色分け
Most attractive quadrant

コスト

現在のトークン単位の価格に基づく、Artificial Analysis Coding Agent Indexのトークン従量課金APIコスト。

タスクあたりのコスト

Average pay-per-token API cost per task (USD) · Lower is better
色分け

実行時間

Artificial Analysis Coding Agent Indexにおけるエージェントの実稼働時間。

タスクあたりの時間

Average agent wall time per task · Lower is better
色分け

Artificial Analysis Coding Agent Index vs. 実行時間

Artificial Analysis Coding Agent Index vs. タスクあたりの平均エージェント稼働時間
色分け
Most attractive quadrant