Benchmarks de agentes de programación
Mistral Vibe vs. Muse Code
Comparación entre Mistral Vibe y Muse Code en el Artificial Analysis Coding Agent Index, incluidos resultados de benchmarks, costo, tiempo de ejecución y uso de tokens.
Para más detalles sobre nuestra metodología, consulta nuestra página de metodología.
Explora otras comparaciones
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
No publicly available API
Comparación
Comparación lado a lado de Mistral Vibe y Muse Code.
Métrica | Análisis | ||
|---|---|---|---|
Harness del agente | Mistral Vibe | Muse Code | |
Modelo representativo | Mistral Large 4 (High) | Muse Wonder Full (Max) | |
Coding Agent Index | 41 | 54 | Muse Code tiene un Coding Agent Index más alto que Mistral Vibe |
FrontierCode-AA 2.0 | 20 | 35 | Muse Code tiene una puntuación más alta en FrontierCode-AA 2.0 que Mistral Vibe |
Terminal-Bench 4.1 | 42 | 60 | Muse Code tiene una puntuación más alta en Terminal-Bench 4.1 que Mistral Vibe |
SWE-Atlas-QnA-AA | 59 | 69 | Muse Code tiene una puntuación más alta en SWE-Atlas-QnA-AA que Mistral Vibe |
Costo por tarea | $1.34 | - | Comparación no disponible |
Tiempo por tarea | 49.0m | 33.7m | Muse Code tiene un tiempo por tarea más bajo que Mistral Vibe |
Turnos por tarea | 107.3 | 202.4 | Mistral Vibe tiene menos turnos por tarea que Muse Code |
Uso de tokens por tarea | 9.42M | 15.7M | Mistral Vibe tiene un uso de tokens por tarea más bajo que Muse Code |
Tasa de aciertos de caché | 92% | 96% | Muse Code tiene una tasa de aciertos de caché más alta que Mistral Vibe |
Modelos
Modelos evaluados para Mistral Vibe y Muse Code.
| high | 41 | 20 | 42 | 59 | $1.34 | 49.0m | 9.42M | ||
| medium | 30 | 18 | 26 | 45 | $1.02 | 43.1m | 7.73M | ||
| max | 54 | 35 | 60 | 69 | - | 33.7m | 15.7M | ||
| max | 44 | 24 | 47 | 62 | $7.59 | 27.2m | 16M | ||
| max | 40 | 21 | 43 | 55 | $0.22 | 19.9m | 21.2M | ||
| max | 37 | 22 | 30 | 59 | $4.34 | 24.4m | 20M |
Rendimiento
Rendimiento en el Artificial Analysis Coding Agent Index.
Artificial Analysis Coding Agent Index
Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
Colorear por
Sin API disponible públicamente
Artificial Analysis Coding Agent Index vs. costo por tarea
Artificial Analysis Coding Agent Index vs. promedio del costo de la API de pago por token por tarea (USD)
Colorear por
Most attractive quadrant
Uso de tokens
Consumo de tokens en el Artificial Analysis Coding Agent Index.
Uso de tokens por tarea
Promedio de tokens de entrada, caché y salida por tarea
Las tasas de aciertos de la caché de prompts pueden variar mucho según el enrutamiento del proveedor, lo que puede cambiar sustancialmente el costo efectivo.
Artificial Analysis Coding Agent Index vs. tokens totales
Artificial Analysis Coding Agent Index vs. promedio de tokens totales por tarea
Colorear por
Most attractive quadrant
Costo
Costo de la API de pago por token en el Artificial Analysis Coding Agent Index, según los precios actuales por token.
Costo por tarea
Average pay-per-token API cost per task (USD) · Lower is better
Colorear por
Tiempo de ejecución
Tiempo de ejecución activo del agente en el Artificial Analysis Coding Agent Index.
Tiempo por tarea
Average agent wall time per task · Lower is better
Colorear por
Sin API disponible públicamente
Artificial Analysis Coding Agent Index vs. tiempo de ejecución
Artificial Analysis Coding Agent Index vs. promedio del tiempo de ejecución del agente por tarea
Colorear por
Most attractive quadrant