Benchmarks de agentes de programación

Mistral Vibe vs. Muse Code

Comparación entre Mistral Vibe y Muse Code en el Artificial Analysis Coding Agent Index, incluidos resultados de benchmarks, costo, tiempo de ejecución y uso de tokens.

Para más detalles sobre nuestra metodología, consulta nuestra página de metodología.

Explora otras comparaciones
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
No publicly available API
Average agent wall time per task · Lower is better
No publicly available API
Average API cost per task (USD) · Lower is better

Comparación

Comparación lado a lado de Mistral Vibe y Muse Code.

Métrica
Mistral Large 4 (High)
Muse Wonder Full (Max)
Análisis
Harness del agente
Mistral Vibe
Muse Code
Modelo representativo
Mistral Large 4 (High)
Muse Wonder Full (Max)
Coding Agent Index
41
54
Muse Code tiene un Coding Agent Index más alto que Mistral Vibe
FrontierCode-AA 2.0
20
35
Muse Code tiene una puntuación más alta en FrontierCode-AA 2.0 que Mistral Vibe
Terminal-Bench 4.1
42
60
Muse Code tiene una puntuación más alta en Terminal-Bench 4.1 que Mistral Vibe
SWE-Atlas-QnA-AA
59
69
Muse Code tiene una puntuación más alta en SWE-Atlas-QnA-AA que Mistral Vibe
Costo por tarea
$1.34
-
Comparación no disponible
Tiempo por tarea
49.0m
33.7m
Muse Code tiene un tiempo por tarea más bajo que Mistral Vibe
Turnos por tarea
107.3
202.4
Mistral Vibe tiene menos turnos por tarea que Muse Code
Uso de tokens por tarea
9.42M
15.7M
Mistral Vibe tiene un uso de tokens por tarea más bajo que Muse Code
Tasa de aciertos de caché
92%
96%
Muse Code tiene una tasa de aciertos de caché más alta que Mistral Vibe

Modelos

Modelos evaluados para Mistral Vibe y Muse Code.

Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M
Muse Wonder Full (Max)
max
54
35
60
69
-
33.7m
15.7M
Muse Wonder (Max)
max
44
24
47
62
$7.59
27.2m
16M
Muse Ember (Max)
max
40
21
43
55
$0.22
19.9m
21.2M
Muse Spark 1.3 (Max)
max
37
22
30
59
$4.34
24.4m
20M

Rendimiento

Rendimiento en el Artificial Analysis Coding Agent Index.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
Colorear por
Sin API disponible públicamente

Artificial Analysis Coding Agent Index vs. costo por tarea

Artificial Analysis Coding Agent Index vs. promedio del costo de la API de pago por token por tarea (USD)
Colorear por
Most attractive quadrant

Uso de tokens

Consumo de tokens en el Artificial Analysis Coding Agent Index.

Uso de tokens por tarea

Promedio de tokens de entrada, caché y salida por tarea
Las tasas de aciertos de la caché de prompts pueden variar mucho según el enrutamiento del proveedor, lo que puede cambiar sustancialmente el costo efectivo.

Artificial Analysis Coding Agent Index vs. tokens totales

Artificial Analysis Coding Agent Index vs. promedio de tokens totales por tarea
Colorear por
Most attractive quadrant

Costo

Costo de la API de pago por token en el Artificial Analysis Coding Agent Index, según los precios actuales por token.

Costo por tarea

Average pay-per-token API cost per task (USD) · Lower is better
Colorear por

Tiempo de ejecución

Tiempo de ejecución activo del agente en el Artificial Analysis Coding Agent Index.

Tiempo por tarea

Average agent wall time per task · Lower is better
Colorear por
Sin API disponible públicamente

Artificial Analysis Coding Agent Index vs. tiempo de ejecución

Artificial Analysis Coding Agent Index vs. promedio del tiempo de ejecución del agente por tarea
Colorear por
Most attractive quadrant