Claude Code vs. Devin Fusion CLI
Comparación entre Claude Code y Devin Fusion CLI en el Índice de agentes de programación de Artificial Analysis, incluidos resultados de benchmarks, costo, tiempo de ejecución y uso de tokens.
Para más detalles sobre nuestra metodología, consulta nuestra página de metodología.
Destacados
Comparación
Comparación lado a lado de Claude Code y Devin Fusion CLI.
Comparación de agentes de programación
Métrica | Análisis | ||
|---|---|---|---|
Harness del agente | Claude Code | Devin Fusion CLI | |
Modelo representativo | Sonnet 5.5 (max) | Claude Fable 5.1 XHigh + SWE-2 Medium | |
Índice de agentes de programación | 68 | 62 | Claude Code tiene un Índice de agentes de programación más alto que Devin Fusion CLI |
DeepSWE v1.1 | 72% | 63% | Claude Code tiene una puntuación más alta en DeepSWE v1.1 que Devin Fusion CLI |
Terminal-Bench 4.0 | 66% | 56% | Claude Code tiene una puntuación más alta en Terminal-Bench 4.0 que Devin Fusion CLI |
SWE-Atlas-QnA | 67% | 66% | Claude Code tiene una puntuación más alta en SWE-Atlas-QnA que Devin Fusion CLI |
Costo por tarea | 14,19 US$ | 7,90 US$ | Devin Fusion CLI tiene un costo por tarea más bajo que Claude Code |
Tiempo por tarea | 1,5h | 35,8min | Devin Fusion CLI tiene un tiempo por tarea más bajo que Claude Code |
Turnos por tarea | 265,9 | 99,5 | Devin Fusion CLI tiene menos turnos por tarea que Claude Code |
Uso de tokens por tarea | 27,7 M | 9,7 M | Devin Fusion CLI tiene un uso de tokens por tarea más bajo que Claude Code |
Tasa de aciertos de caché | 95 % | 96 % | Devin Fusion CLI tiene una tasa de aciertos de caché más alta que Claude Code |
Variantes de modelo
Variantes de modelo evaluadas para Claude Code y Devin Fusion CLI.
Variantes de modelo
68 | 72% | 66% | 67% | 14,19 US$ | 1,5h | 27,7 M | ||
66 | 68% | 63% | 66% | 13,04 US$ | 1,1h | 15,6 M | ||
63 | 68% | 58% | 62% | 3,33 US$ | 27,0min | 7,1 M | ||
62 | 64% | 58% | 65% | 12,39 US$ | 34,8min | 5,7 M | ||
60 | 63% | 55% | 62% | 10,79 US$ | 41,9min | 11,4 M | ||
55 | 67% | 42% | 56% | 1,24 US$ | 12,3min | 2,7 M | ||
46 | 65% | 27% | 45% | 0,62 US$ | 8,5min | 1,3 M | ||
43 | 51% | 17% | 62% | 3,48 US$ | 1,1h | 8,7 M | ||
42 | 62% | 25% | 39% | 0,48 US$ | 6,3min | 977,3 mil | ||
62 | 63% | 56% | 66% | 7,90 US$ | 35,8min | 9,7 M | ||
59 | 67% | 50% | 59% | 4,54 US$ | 24,7min | 6,1 M |
Rendimiento
Rendimiento en el Índice de agentes de programación de Artificial Analysis.
Índice de agentes de programación de Artificial Analysis
Índice de agentes de programación de Artificial Analysis vs. costo por tarea
Uso de tokens
Consumo de tokens en el Índice de agentes de programación de Artificial Analysis.
Uso de tokens por tarea
Índice de agentes de programación de Artificial Analysis vs. tokens totales
Costo
Costo de la API de pago por token en el Índice de agentes de programación de Artificial Analysis, según los precios actuales por token.
Costo por tarea
Tiempo de ejecución
Tiempo de ejecución activo del agente en el Índice de agentes de programación de Artificial Analysis.