Programmieragenten-Benchmarks von Artificial Analysis

Der Artificial Analysis Coding Agent Index ist unser zusammengesetzter Wert für die Leistung von Programmieragenten über die öffentliche Benchmark-Suite auf dieser Seite. Er kombiniert DeepSWE, Terminal-Bench v2.1 und SWE-Atlas-QnA, um Implementierung, Terminal-Workflow, Repository-Verständnis und die allgemeine Software-Engineering-Leistung in einer einzigen Kennzahl zu erfassen.

Der aktuelle öffentliche Index umfasst DeepSWE, Terminal-Bench v2.1 und SWE-Atlas-QnA. Diese Benchmarks werden kombiniert, weil sie unterschiedliche Teile des Programmieragenten-Workflows beanspruchen, statt dasselbe Aufgabenformat zu wiederholen.

Die öffentliche Benchmark-Suite mischt mehrere Stile von Software-Engineering-Aufgaben. Einige sind Q&A- und Repository-Verständnis-Aufgaben, die sich auf das Lesen einer Codebasis, das Verstehen von Architektur oder Verhalten und das Erstellen einer korrekten technischen Antwort konzentrieren. Einige sind Implementierungs- und Fehlerbehebungsaufgaben, die Codeänderungen erfordern und dem klassischen Ansatz „einen funktionierenden Patch erstellen“ näherkommen. Einige sind Terminal-Workflow-Aufgaben, die testen, ob der Agent sich in einer Shell-gesteuerten Umgebung zurechtfindet, Tools korrekt ausführt und einen mehrstufigen Kommandozeilen-Workflow abschließt. Alle drei aktuellen Benchmarks verwenden binäre Aufgabenergebnisse.

Q&A-Aufgaben betonen das Repository-Verständnis, das Lesen von Code, das Nachvollziehen von Verhalten und das Erstellen einer korrekten technischen Erklärung. Implementierungsaufgaben kommen dem Ausliefern einer funktionierenden Änderung näher: Der Agent muss die Aufgabe verstehen, sich im Repository zurechtfinden, Dateien korrekt bearbeiten und unter Ausführungsbeschränkungen einen Evaluator oder ein testbasiertes Ergebnis erfüllen. Das sind verwandte Fähigkeiten, aber sie sind nicht identisch. Ein Agent kann stark im Repository-Reasoning sein und dennoch schwächer bei der zuverlässigen Patch-Ausführung, oder umgekehrt, was ein Grund ist, warum der zusammengesetzte Index zusammen mit dem Diagramm pro Benchmark interpretiert werden sollte.

Die Benchmark-Seite berichtet den aufgabennormalisierten Durchschnitt von pass@1. Für jeden Benchmark mitteln wir zunächst die drei bewerteten Versuche jeder Aufgabe und mitteln dann diese Werte auf Aufgabenebene, sodass jede Aufgabe gleich gewichtet wird. Alle aktuellen Komponentenergebnisse sind binär. Ein Versuch kann sauber abschließen und dennoch null Punkte erzielen, wenn er seinen Verifizierer nicht erfüllt. Die binäre Bestanden/Nicht-bestanden-Bewertung von SWE-Atlas-QnA ist an der Task-Resolve-Rate-Methodik von Scale AI ausgerichtet.

Der Index wird aus DeepSWE, Terminal-Bench v2.1 und SWE-Atlas-QnA berechnet. Für den aktuellen Artificial Analysis Coding Agent Index ist die öffentliche Methodik ein einfacher Durchschnitt über diese Benchmark-Werte. Die Benchmark-Methodik kann sich mit verbesserter Abdeckung weiterentwickeln, daher wird die Vergleichbarkeit am besten innerhalb der veröffentlichten Benchmark-Suite und ihres aktuellen Komponentensatzes interpretiert, statt als zeitloser absoluter Wert.

Ausführungszeit bezieht sich auf dieser Seite auf die durchschnittliche reale Laufzeit pro Aufgabe, nicht nur auf die reine Modell-Latenz. Sie soll die für den Nutzer spürbaren Zeitkosten für die Ausführung des gesamten Agent-Workflows widerspiegeln. Dazu gehören die Zeit fürs Reasoning, das Auslösen von Tool-Aufrufen, das Lesen und Schreiben von Dateien, das Ausführen von Shell-Schritten und das Warten auf Modellantworten. So kann ein Agent ein schnelles zugrunde liegendes Modell haben und dennoch insgesamt langsamer sein, wenn sein Workflow länger oder tool-intensiver ist.

Die Token-Nutzung ist der durchschnittlich beobachtete Token-Verbrauch pro Aufgabe über die Benchmark-Suite. Auf dieser Seite gliedern wir sie in Eingabe-, Cache- und Ausgabe-Tokens auf. Eingabe-Tokens sind die an das Modell gesendeten Tokens, einschließlich Prompts, Anweisungen, Tool-Kontext und Aufgabenkontext. Cache-Tokens sind Prompt-Tokens, die per Prompt-Caching wiederverwendet werden, sofern der Anbieter diese Telemetrie bereitstellt. Ausgabe-Tokens sind die vom Modell in seiner Antwort generierten Tokens. Die Token-Nutzung ist wichtig, weil sie oft die Kosten bestimmt und auch anzeigen kann, wie viel Kontext ein Agent verbraucht, um die Arbeit zu erledigen; Token-Effizienz und Kosten sind jedoch nicht identisch, da Anbieter Token-Kategorien unterschiedlich bepreisen und Caching die Rechnung erheblich verändern kann.

Ein höherer Indexwert bedeutet eine stärkere Leistung über den enthaltenen Benchmark-Mix, aber er bedeutet nicht, dass der Agent für jeden Workflow am besten ist. Der Index ist ein Ausgleich über die Benchmark-Qualität, kein direktes Maß für Ihre spezifischen Prioritäten bei Latenz, Kosten, Tooling oder Aufgabentyp. Die Wahl in der Praxis hängt weiterhin davon ab, ob Ihr Workflow eher wie Repository-Q&A, Patching oder Terminal-Ausführung aussieht, und von praktischen Einschränkungen wie IDE-Integration, Modellverfügbarkeit und Zuverlässigkeit.

Diese Benchmarks messen die Leistung von Programmieragenten über Repositorys, Tools, mehrstufige Workflows und evaluatorbasierte Ergebnisse. Die Ergebnisse auf dieser Seite spiegeln spezifische bewertete Agent-Varianten wider, nicht nur generische Produktnamen: Modellwahl, Einstellungen und Ausführungskonfiguration können die Ergebnisse erheblich verändern, weshalb eine einzelne Agent-Familie in mehreren Varianten in den Ergebnissen erscheinen kann. Weitere Hintergrundinformationen zu Benchmark-Läufen, aufgabenbezogener Bewertung und Methodik finden Sie auf der Methodik-Seite zum Programmieragenten-Benchmarking. Zur Methodik des Programmieragenten-Benchmarkings