Claude Code vs. Devin Fusion CLI
Comparação entre Claude Code e Devin Fusion CLI no Artificial Analysis Coding Agent Index, incluindo pontuações de benchmarks, custo, tempo de execução e uso de tokens.
Para saber mais sobre nossa metodologia, consulte a página de metodologia.
Explore outras comparações
vs
Destaques
Comparação
Comparação lado a lado de Claude Code e Devin Fusion CLI.
Comparação de agentes de programação
Métrica | Análise | ||
|---|---|---|---|
Harness do agente | Claude Code | Devin Fusion CLI | |
Modelo representativo | Fable 5.1 (max) (with fallback) | Claude Fable 5.1 XHigh + SWE-2 Medium | |
Coding Agent Index | 62 | 62 | Claude Code tem um Coding Agent Index mais alto que Devin Fusion CLI |
DeepSWE v1.1 | 64% | 63% | Claude Code tem uma pontuação mais alta em DeepSWE v1.1 que Devin Fusion CLI |
Terminal-Bench 4.0 | 58% | 56% | Claude Code tem uma pontuação mais alta em Terminal-Bench 4.0 que Devin Fusion CLI |
SWE-Atlas-QnA | 65% | 66% | Devin Fusion CLI tem uma pontuação mais alta em SWE-Atlas-QnA que Claude Code |
Custo por tarefa | $12.39 | $7.90 | Devin Fusion CLI tem um custo por tarefa mais baixo que Claude Code |
Tempo por tarefa | 34.8m | 35.8m | Claude Code tem um tempo por tarefa mais baixo que Devin Fusion CLI |
Turnos por tarefa | 36.7 | 99.5 | Claude Code tem menos turnos por tarefa que Devin Fusion CLI |
Uso de tokens por tarefa | 5.7M | 9.7M | Claude Code tem um uso de tokens por tarefa mais baixo que Devin Fusion CLI |
Taxa de acertos de cache | 92% | 96% | Devin Fusion CLI tem uma taxa de acertos de cache mais alta que Claude Code |
Variantes de modelo
Variantes de modelo avaliadas para Claude Code e Devin Fusion CLI.
Variantes de modelo
62 | 64% | 58% | 65% | $12.39 | 34.8m | 5.7M | ||
60 | 63% | 55% | 62% | $10.79 | 41.9m | 11.4M | ||
43 | 51% | 17% | 62% | $3.49 | 1.1h | 8.7M | ||
62 | 63% | 56% | 66% | $7.90 | 35.8m | 9.7M | ||
59 | 67% | 50% | 59% | $4.54 | 24.7m | 6.1M |
Desempenho
Desempenho no Artificial Analysis Coding Agent Index.
Artificial Analysis Coding Agent Index
Artificial Analysis Coding Agent Index v1.5 incorporates 3 benchmarks: DeepSWE v1.1, Terminal-Bench 4.0, and SWE-Atlas-QnA · Higher is better
Color by
Artificial Analysis Coding Agent Index vs. custo por tarefa
Artificial Analysis Coding Agent Index vs. média do custo da API de pagamento por token por tarefa (USD)
Color by
Most attractive quadrant
Pareto line
Uso de tokens
Consumo de tokens no Artificial Analysis Coding Agent Index.
Uso de tokens por tarefa
Média de tokens de entrada, cache e saída por tarefa
Prompt cache hit rates can vary significantly by provider routing, which can materially change effective cost.
Artificial Analysis Coding Agent Index vs. tokens totais
Artificial Analysis Coding Agent Index vs. média de tokens totais por tarefa
Color by
Most attractive quadrant
Custo
Custo da API de pagamento por token no Artificial Analysis Coding Agent Index, com base nos preços atuais por token.
Custo por tarefa
Average pay-per-token API cost per task (USD) · Lower is better
Color by
Tempo de execução
Tempo de execução ativo do agente no Artificial Analysis Coding Agent Index.
Tempo por tarefa
Average agent wall time per task · Lower is better
Color by
Artificial Analysis Coding Agent Index vs. tempo de execução
Artificial Analysis Coding Agent Index vs. média do tempo de execução do agente por tarefa
Color by
Most attractive quadrant