Cognition

Devin Fusion CLI: Wert im Coding Agent Index, Leistung und Preis

Im Vergleich zu anderen Programmieragenten liegt Devin Fusion CLI im Coding Agent Index in der Spitzengruppe, ist aber besonders teuer. Der Agent ist außerdem langsamer als der Durchschnitt. Das beste Ergebnis erzielt er mit Claude Opus 5.5 Max + GPT-6 Luna High; getestet wurde er mit 3 Modellen.

Devin Fusion CLI mit Claude Opus 5.5 Max + GPT-6 Luna High erzielt im Artificial Analysis Coding Agent Index einen Wert von 62 und liegt damit deutlich über dem Durchschnitt der Programmieragenten (Median: 49).

Mit 51.1m pro Aufgabe ist Devin Fusion CLI mit Claude Opus 5.5 Max + GPT-6 Luna High langsamer als der Durchschnitt (Median: 36.1m).

Im Durchschnitt kostet eine Aufgabe mit Devin Fusion CLI und Claude Opus 5.5 Max + GPT-6 Luna High im Coding Agent Index $8.00 an API-Kosten (teuer; Median: $5.41).

Leistung

Leistung im Artificial Analysis Coding Agent Index.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.0 incorporates 3 benchmarks: FrontierCode v1.1, Terminal-Bench 4.0, and SWE-Atlas-QnA-AA · Higher is better

Färben nach

Modellrouter

The Artificial Analysis Coding Agent Index is a composite score built from FrontierCode v1.1, Terminal-Bench 4.0 und SWE-Atlas-QnA-AA.

It is useful for quick comparison, but it should be read alongside the per-eval breakdowns. Two agents with similar index values can still have different strengths across repository tasks, terminal workflows, and rubric-based evaluations.

Artificial Analysis Coding Agent Index vs. Kosten pro Aufgabe

Artificial Analysis Coding Agent Index vs. durchschnittliche Pay-per-Token-API-Kosten pro Aufgabe (USD)

Färben nach

Modellrouter

Most attractive quadrant

Pareto line

Each point represents a coding-agent variant. Farther left means lower average cost per task, while higher on the chart means higher benchmark performance. The most efficient agents sit toward the upper-left: stronger results at lower cost.

Token-Nutzung

Token-Verbrauch im Artificial Analysis Coding Agent Index, einschließlich Gesamtnutzung, Token-Verteilung, Effizienz und Aufschlüsselungen pro Benchmark.

Token-Nutzung pro Aufgabe

Durchschnittliche Eingabe-, Cache- und Ausgabe-Tokens pro Aufgabe

Modellrouter

Die Trefferquoten des Prompt-Caches können je nach Anbieter-Routing erheblich variieren und dadurch die effektiven Kosten deutlich verändern.

Non-cached input tokens sent to the model, including prompts, instructions, tool context, and task context that were not served from prompt cache.

Artificial Analysis Coding Agent Index vs. Gesamt-Tokens

Artificial Analysis Coding Agent Index vs. durchschnittliche Gesamt-Tokens pro Aufgabe

Färben nach

Modellrouter

Most attractive quadrant

Each point represents a coding-agent variant. Farther left means lower average total token usage per task, while higher on the chart means higher benchmark performance. Agents toward the upper-left achieve stronger results with fewer tokens.

Kosten

Kosten im Artificial Analysis Coding Agent Index basierend auf den aktuellen API-Preisen pro Token, einschließlich Cache-Schreibpreisen und Cache-Rabatten, sofern verfügbar. Viele Nutzer greifen über Abo-Angebote statt über Pay-per-Token auf Programmieragenten-Harnesses zu.

Kosten pro Aufgabe

Average pay-per-token API cost per task (USD) · Lower is better

Färben nach

Modellrouter

This chart shows the average pay-per-token API cost per task across the Artificial Analysis Coding Agent Index, spanning FrontierCode v1.1, Terminal-Bench 4.0 und SWE-Atlas-QnA-AA.

Where applicable, that cost model includes standard input pricing, discounted cached-input pricing, separate cache-write charges, and output pricing rather than treating all prompt tokens as if they were billed at the same uncached input rate.

It is intended to show pay-per-token API cost, not consumer plan pricing or the full operational cost of deploying the system in production. Infrastructure, engineering, and supervision costs are not the focus of this metric.

Ausführungszeit

Aktive Agent-Laufzeit im Artificial Analysis Coding Agent Index.

Zeit pro Aufgabe

Average agent wall time per task · Lower is better

Färben nach

Modellrouter

This chart uses agent wall time: how long the agent process was actively running on each task.

It does not include environment startup, verifier or judge time, or other harness overhead, so it is a cleaner comparison of how long the agent itself was working.

Artificial Analysis Coding Agent Index vs. Ausführungszeit

Artificial Analysis Coding Agent Index vs. durchschnittliche Agent-Laufzeit pro Aufgabe

Färben nach

Modellrouter

Most attractive quadrant

Each point represents a coding-agent variant. Farther left means shorter average agent runtime per task, while higher on the chart means higher benchmark performance. Agents toward the upper-left deliver stronger results in less active agent time.

Sicherheitsverweigerungen

Methodik

Wie oft Anbieter oder Modell die weitere Bearbeitung einer Aufgabe aus Sicherheitsgründen verweigern, im Artificial Analysis Coding Agent Index.

Rate der Sicherheitsverweigerungen

Share of retained task attempts with a safety refusal · Equal weight per benchmark · Lower is better

Aufschlüsseln nach

Modellrouter

Sicherheits- und Fallback-Verhalten wird vom Anbieter konfiguriert und kann sich im Laufe der Zeit ändern; diese Werte geben das zum Zeitpunkt des Benchmarkings erfasste Verhalten wieder.

Blockiert beendet den Versuch. Fallback bedeutet, dass ein anderes Modell ihn abgeschlossen hat. Beide zählen für die Verweigerungsrate.

Reward Hacking

Methodik

Anteil der Aufgabenversuche, die sonst bestanden hätten, aber wegen eines Integritätsverstoßes mit null bewertet werden.

Reward-Hacking-Rate: FrontierCode v1.1

Share of task attempts scored zero for reward hacking · Verwendet eine modifizierte Version des regelbasierten Scanners von Cognition, um unzulässigen Zugriff auf Lösungsmaterial zu erkennen · Lower is better

Färben nach

Modellrouter

Devin Fusion CLI: Wert im Coding Agent Index, Leistung und Preis

Zusammenfassung des Vergleichs

Leistung

Artificial Analysis Coding Agent Index

What This Metric Means

Artificial Analysis Coding Agent Index vs. Kosten pro Aufgabe

How to Read This Chart

Token-Nutzung

Token-Nutzung pro Aufgabe

Input Tokens

Artificial Analysis Coding Agent Index vs. Gesamt-Tokens

How to Read This Chart

Kosten

Kosten pro Aufgabe

What Cost Is Measuring

Ausführungszeit

Zeit pro Aufgabe

What Execution Time Is Measuring

Artificial Analysis Coding Agent Index vs. Ausführungszeit

How to Read This Chart

Sicherheitsverweigerungen

Rate der Sicherheitsverweigerungen

Ergebnisse von Sicherheitsverweigerungen

Reward Hacking

Reward-Hacking-Rate: FrontierCode v1.1

Ausführungsspezifikationen