コーディングエージェントベンチマーク

Mistral VibeとMuse Code

Mistral VibeとMuse CodeをArtificial Analysis Coding Agent Indexのベンチマークスコア、コスト、実行時間、トークン使用量で比較します。

詳しい方法論は、方法論ページをご覧ください。

ほかの比較を見る
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
No publicly available API
Average agent wall time per task · Lower is better
No publicly available API
Average API cost per task (USD) · Lower is better

比較

Mistral Vibe と Muse Code の並列比較。

指標
Mistral Large 4 (High)
Muse Wonder Full (Max)
分析
エージェントハーネス
Mistral Vibe
Muse Code
代表モデル
Mistral Large 4 (High)
Muse Wonder Full (Max)
Coding Agent Index
41
54
Muse Code は Mistral Vibe よりCoding Agent Indexが高いです
FrontierCode-AA 2.0
20
35
Muse Code は Mistral Vibe より FrontierCode-AA 2.0 のスコアが高いです
Terminal-Bench 4.1
42
60
Muse Code は Mistral Vibe より Terminal-Bench 4.1 のスコアが高いです
SWE-Atlas-QnA-AA
59
69
Muse Code は Mistral Vibe より SWE-Atlas-QnA-AA のスコアが高いです
タスクあたりのコスト
$1.34
-
比較できません
タスクあたりの時間
49.0m
33.7m
Muse Code は Mistral Vibe よりタスクあたりの時間が短いです
タスクあたりのターン数
107.3
202.4
Mistral Vibe は Muse Code よりタスクあたりのターン数が少ないです
タスクあたりのトークン使用量
9.42M
15.7M
Mistral Vibe は Muse Code よりタスクあたりのトークン使用量が少ないです
キャッシュヒット率
92%
96%
Muse Code は Mistral Vibe よりキャッシュヒット率が高いです

モデル

Mistral Vibe と Muse Code の評価済みモデル。

Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M
Muse Wonder Full (Max)
max
54
35
60
69
-
33.7m
15.7M
Muse Wonder (Max)
max
44
24
47
62
$7.59
27.2m
16M
Muse Ember (Max)
max
40
21
43
55
$0.22
19.9m
21.2M
Muse Spark 1.3 (Max)
max
37
22
30
59
$4.34
24.4m
20M

パフォーマンス

Artificial Analysis Coding Agent Indexにおけるパフォーマンス。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
色分け
公開APIなし

Artificial Analysis Coding Agent Index vs. タスクあたりのコスト

Artificial Analysis Coding Agent Index vs. タスクあたりの平均トークン従量課金APIコスト(USD)
色分け
Most attractive quadrant

トークン使用量

Artificial Analysis Coding Agent Indexにおけるトークン消費量。

タスクあたりのトークン使用量

タスクあたりの入力・キャッシュ・出力トークンの平均
プロンプトキャッシュのヒット率はプロバイダーのルーティングによって大きく変わる可能性があり、実効コストに大きく影響することがあります。

Artificial Analysis Coding Agent Index vs. 合計トークン

Artificial Analysis Coding Agent Index vs. タスクあたりの平均合計トークン
色分け
Most attractive quadrant

コスト

現在のトークン単位の価格に基づく、Artificial Analysis Coding Agent Indexのトークン従量課金APIコスト。

タスクあたりのコスト

Average pay-per-token API cost per task (USD) · Lower is better
色分け

実行時間

Artificial Analysis Coding Agent Indexにおけるエージェントの実稼働時間。

タスクあたりの時間

Average agent wall time per task · Lower is better
色分け
公開APIなし

Artificial Analysis Coding Agent Index vs. 実行時間

Artificial Analysis Coding Agent Index vs. タスクあたりの平均エージェント稼働時間
色分け
Most attractive quadrant