Methodik von Artificial Analysis für das Performance-Benchmarking von Sprachmodell-APIs

Überblick

Um die Leistung eines LLM zu messen, muss dem LLM ein Prompt gesendet und die Beschaffenheit seiner Ausgabe gemessen werden. Wir testen und messen die LLM-Leistung mit verschiedenen Test-Workloads.

Workload-Typen

Workload-Typ	Beschreibung
1k Eingabe-Token	Ungefähr 1.000 Eingabe-Token, mindestens 1.000 Antwort-Token
10k Eingabe-Token	Ungefähr 10.000 Eingabe-Token, mindestens 1.500 Antwort-Token (Standard-Benchmark auf unserer Website)
100k Eingabe-Token	Ungefähr 100.000 Eingabe-Token, mindestens 2.000 Antwort-Token
Vision-Workload	Ein einzelnes Bild mit 1 Megapixel und ungefähr 1.000 Eingabe-Token sowie 1.000 Ausgabe-Token

Längere Prompts können im Vergleich zu kürzeren Prompts sowohl zu einer längeren Zeit bis zum ersten Token als auch zu weniger Ausgabe-Token pro Sekunde führen.

Lastszenarien

Lastszenario	Beschreibung
Einzelner Prompt	Der API des Modells wird jeweils ein Prompt gesendet
Parallele Prompts	Der API des Modells werden gleichzeitig 10 Prompts gesendet

Testhäufigkeit

Unsere Workloads mit 1k und 10k Eingabe-Token sowie unsere Vision-Workloads werden 8-mal täglich getestet, ungefähr alle 3 Stunden
Für unseren Test mit mehreren oder parallelen Workloads senden wir einmal täglich zu einem zufälligen Zeitpunkt 10 gleichzeitige Anfragen unseres Standard-Workloads mit 1k Eingabe-Token
Unser Workload mit 100k Eingabe-Token wird einmal pro Woche getestet

Jeder einzelne Testdurchlauf verwendet einen eigenen Prompt, den wir zum Testzeitpunkt erstellen und auf allen von uns abgedeckten Endpunkten ausführen. Die Prompts kombinieren verschiedene längere Eingabeinhalte (z. B. Artikel) mit einer Reihe von Aufgaben, darunter Erklärungen/Zusammenfassungen, das Erstellen von Fragen und Antworten, vergleichende Analysen, Übersetzungen oder das Erstellen visueller Artefakte.

Die Parameter des Erstellungsprozesses sind darauf ausgelegt, das vorgesehene Token-Budget auszuschöpfen. So entstehen vielfältige Ausgaben, mit denen unterschiedliche Reasoning- und Generierungsfähigkeiten getestet werden.

Vielfältige Prompts sind für das Performance-Benchmarking wichtig, da Techniken wie Speculative Decoding je nach Art der Ausgabe zu unterschiedlichen Ausgabegeschwindigkeiten führen.

Darstellung der Messwerte

Leistungsmessungen werden als Medianmesswert (P50) der vergangenen 72 Stunden dargestellt. Dadurch werden anhaltende Leistungsveränderungen abgebildet, mit denen Nutzer bei Verwendung der API rechnen können. Eine Ausnahme bildet der Workload mit einer Prompt-Länge von 100k: Er wird einmal pro Woche getestet und als Medianmesswert (P50) der vergangenen 14 Tage dargestellt.

Wichtige Definitionen

Zeit bis zum ersten Token: Die Zeit in Sekunden zwischen dem Senden einer Anfrage an den Dienst oder das System und dem Empfang des ersten Tokens der Antwort. Bei Reasoning-Modellen, die Reasoning-Tokens zurückgeben, ist dies das erste Reasoning-Token.
Zeit bis zum ersten Antworttoken: Die Zeit in Sekunden zwischen dem Senden einer Anfrage an den Dienst oder das System und dem Empfang des ersten Antworttokens. Bei Reasoning-Modellen wird sie nach einer etwaigen „Denkzeit“ gemessen.
Ausgabegeschwindigkeit (Ausgabetokens pro Sekunde): Die durchschnittliche Anzahl der pro Sekunde empfangenen Tokens nach Empfang des ersten Tokens.
Gesamtantwortzeit für 100 Ausgabetokens: Die Anzahl der Sekunden zum Erzeugen von 100 Ausgabetokens, die für eine bestmögliche Vergleichbarkeit synthetisch anhand von TTFT und Ausgabegeschwindigkeit berechnet wird.
Ende-zu-Ende-Antwortzeit: Die Gesamtzeit bis zum Empfang einer vollständigen Antwort, einschließlich der Zeit für die Verarbeitung der Eingabe, das Schlussfolgern des Modells und die Erzeugung der Antwort.
Durchschnittliche Reasoning-Tokens: Zeit, die Reasoning-Modelle vor der Bereitstellung einer Antwort mit der Ausgabe von „Reasoning“-Tokens verbringen. Die Berechnung basiert auf der durchschnittlichen Anzahl an „Reasoning“-Tokens bei einer vielfältigen Auswahl von 60 Prompts. Wenn die durchschnittliche Anzahl an Reasoning-Tokens nicht verfügbar ist oder noch nicht berechnet wurde, nehmen wir 2.000 Reasoning-Tokens an. Diese Prompts sind unterschiedlich lang und decken verschiedene Themen ab, darunter persönliche und geschäftliche Anfragen, Programmierung, Mathematik, Naturwissenschaften und weitere Bereiche. Die Prompts wurden teils von Artificial Analysis verfasst und stammen teils aus folgenden Evaluationen: MMLU Pro, AIME 2025 und LiveCodeBench. Diese Prompts sind hier abrufbar.

Technische Details

Serverstandort: Unser primärer Testserver ist eine virtuelle Maschine in der Google-Cloud-Zone us-central1-a.

Testkonten: Für unsere Tests verwenden wir eine Kombination aus anonymen Konten, Konten mit Guthaben und API-Schlüsseln, die ausdrücklich für das Benchmarking bereitgestellt wurden. Wenn unser primäres Benchmarking nicht über ein anonymes Konto erfolgt, registrieren wir ein separates anonymes Konto und überprüfen, dass die Leistung nicht manipuliert wird.

API-Bibliotheken: Für alle Anbieter, die Kompatibilität mit der OpenAI-API angeben, verwenden wir die offizielle Python-Bibliothek von OpenAI, um konsistente Tests zu gewährleisten. Bei Anbietern ohne OpenAI-Kompatibilität verwenden wir die jeweils empfohlenen Clientbibliotheken.

API-Parameter: Wir verwenden bei allen Tests die folgenden API-Parameter:

temperature: 0.6 für Reasoning-Modelle; temperature: 0 für Modelle ohne Reasoning, sofern der Modellentwickler nichts anderes vorgibt.
top_p: 1

Token-Messung: Wir messen Token mit zwei Methoden:

Beim Performance-Benchmarking messen wir Token so, wie sie von der tiktoken-Bibliothek von OpenAI (o200k_base) gezählt werden. Dadurch wird die Anzahl der Token über verschiedene Modelle mit unterschiedlichen Tokenizern hinweg vereinheitlicht, sodass derselbe Text durch dieselbe Anzahl von Token dargestellt wird.
Für die Bewertungen des Artificial Analysis Intelligence Index verwenden wir dagegen die Token-Zahlen, die der API-Anbieter des jeweiligen Modells meldet (einschließlich zwischengespeicherter Eingabe-, Reasoning- und Ausgabe-Token). So können wir die Kosten für die Ausführung des Intelligence Index genauer angeben. Bei Angaben zu Cache-Trefferraten und Kosten kombinieren wir diese mit Live-Messungen der typischen Cache-Trefferrate jedes Modells, statt uns auf die einmalige Messung bei Durchführung der Bewertung zu verlassen.

Berechnung der Ausgabegeschwindigkeit: Bei Reasoning-Modellen, die nicht alle Reasoning-Token in der Antwort offenlegen, berechnen wir die Ausgabegeschwindigkeit anhand der letzten 80% der Antwortsegmente. Dadurch sind die gemessenen Ausgabegeschwindigkeiten konsistent und bilden die Nutzererfahrung besser ab.

Bekannte Einschränkungen

Tokenizer-Effizienz und Preisgestaltung: Verschiedene Modelle verwenden unterschiedliche Tokenizer. Daher kann sich die Anzahl der Token unterscheiden, die zur Darstellung desselben Textes erforderlich ist. Die Preise verschiedener Modelle sind somit nicht immer direkt vergleichbar. Wir arbeiten daran, weitere Einzelheiten zur Tokenizer-Effizienz und ihren Auswirkungen auf die Preisgestaltung zu veröffentlichen. In der Zwischenzeit haben wir auf Twitter erste Analysen zu um die Tokenizer-Effizienz bereinigten Preisen veröffentlicht.

Quantisierung: Einige Modelle verringern mit Quantisierungstechniken den Rechenaufwand und erhöhen die Geschwindigkeit. Quantisierung kann jedoch auch die Modellqualität beeinflussen. Wir arbeiten darauf hin, die von den getesteten Modellen verwendeten Quantisierungsmethoden vollständig offenzulegen.

Serverstandort und TTFT: Die Zeit bis zum ersten Token (Time to First Token, TTFT) hängt vom Serverstandort ab, da sie die Netzwerklatenz einschließt. Unser primärer Testserver befindet sich in der Google-Cloud-Zone us-central1-a. Dies kann abhängig von den jeweiligen Serverstandorten bestimmte Anbieter begünstigen oder benachteiligen. Wir erwägen zusätzliche Teststandorte, um diesen Effekt zu mindern.

Versionsverlauf

Version 2.2.0

2. März 2026

Aktualisierte Prompts: Wir haben einen verbesserten Satz von Prompts mit breiteren und vielfältigeren Inhalten eingeführt, der ein größeres Spektrum an Aufgabentypen umfasst. Dies ist wichtig, da Techniken wie Speculative Decoding je nach Art der Ausgabe zu unterschiedlichen Ausgabegeschwindigkeiten führen.
Änderung des Standard-Workloads: Die auf unserer Website angezeigte Standardgeschwindigkeit basiert nun auf Ergebnissen für Prompts mit 10k Eingabe-Token (zuvor 1k). Leistungsmessungen für Workloads mit 100 Eingabe-Token werden nicht mehr unterstützt. Die Workloads mit 1k, 10k und 100k Eingabe-Token sind weiterhin auf allen Seiten verfügbar, wenn im Dropdown-Menü „Prompt-Optionen“ die entsprechende Auswahl getroffen wird. Am einfachsten lassen sich die Ausgabegeschwindigkeiten verschiedener Workload-Formen im Diagramm „Ausgabegeschwindigkeit nach Anzahl der Eingabe-Token“ vergleichen.

Bedingungen zur Benchmark-Integrität

Hintergrund

Artificial Analysis ist ein unabhängiger Anbieter von KI-Benchmarks und Analysen. Unsere Benchmarks werden häufig zitiert und von Millionen von Nutzern und Organisationen herangezogen.

Wir möchten sicherstellen, dass alle auf Artificial Analysis veröffentlichten Daten fair und transparent sind und die typische Erfahrung von Entwicklern und Organisationen mit den von uns abgedeckten Modellen und Endpunkten abbilden. Unsere Daten zum Inferenz-Benchmarking werden vielfach als Referenzstandard verwendet, um Inferenzanbieter anhand von Dimensionen wie Geschwindigkeit, Latenz und Qualität zu vergleichen. Der Wert dieser Messungen hängt davon ab, dass sie die Erfahrung eines gewöhnlichen Entwicklers mit dem öffentlich verfügbaren Standardendpunkt eines Anbieters widerspiegeln.

Diese Bedingungen formalisieren den Ansatz, den Artificial Analysis seit Beginn des Benchmarkings von Inferenzleistung verfolgt. Sie gelten gleichermaßen für alle Inferenzanbieter und -plattformen (zusammen „Anbieter“), die Daten zu serverlosen Endpunkten auf Artificial Analysis veröffentlichen, und gewährleisten, dass alle Anbieter auf derselben fairen Grundlage gemessen werden.

Anforderungen an Anbieter

Datenverkehr von Artificial Analysis muss mit derselben öffentlich verfügbaren Konfiguration verarbeitet werden, die jeder gewöhnliche Entwickler bei Verwendung des Endpunkts erhalten würde. Insbesondere dürfen Anbieter nicht:

Datenverkehr von Artificial Analysis erkennen, per Fingerprinting identifizieren oder anderweitig bestimmen (etwa anhand von Konto, API-Schlüssel, IP-Adresse, Anfrage-Headern, Nutzdaten oder Verkehrsmustern) und ihn anders als gewöhnlichen Datenverkehr verarbeiten.
Datenverkehr von Artificial Analysis an dedizierte, reservierte oder nicht öffentliche Ressourcen weiterleiten, einschließlich separater Hardware, Kapazitätspools, Prioritätswarteschlangen oder geografischer Regionen, die nicht allgemein verfügbar sind.
Artificial Analysis ein Modell, eine Quantisierung, eine Kontextlänge oder eine Endpunktkonfiguration bereitstellen, die von dem abweicht, was unter demselben Namen öffentlich beworben wird und allgemein verfügbar ist.
Datenverkehr von Artificial Analysis mit einer Batch-Größe, Parallelität oder Lastkonfiguration verarbeiten, die nicht repräsentativ für den gewöhnlichen Datenverkehr am selben Endpunkt ist (beispielsweise indem Benchmark-Anfragen mit kleineren Batch-Größen ausgeführt werden, um die Geschwindigkeit pro Anfrage zu erhöhen).

Auf Anfrage müssen Anbieter die Modellversion, Präzision oder Quantisierung sowie die Kontextlänge bestätigen, mit denen Datenverkehr von Artificial Analysis verarbeitet wird, und bestätigen, dass dies dem öffentlichen Standardangebot entspricht. Anbieter müssen sicherstellen, dass alle Beschäftigten, Auftragnehmer, Berater oder verbundenen Unternehmen, denen bekannt ist, dass ein Endpunkt von Artificial Analysis gemessen wird, diese Richtlinie einhalten.

Leistungsfunktionen, die Teil des öffentlichen Standardangebots sind und allen Entwicklern zu gleichwertigen Bedingungen zur Verfügung stehen (beispielsweise automatische Skalierung, allgemein verfügbares Caching oder veröffentlichte Tarifstufen, auf die alle Kunden zugreifen können), stellen keinen Verstoß dar, sofern sie nicht selektiv auf Datenverkehr von Artificial Analysis angewendet werden.

Verfahren zur Einhaltung der Bedingungen

Artificial Analysis listet Endpunkte und Anbieter nach eigenem Ermessen. Wir behalten uns das Recht vor, Endpunkte oder Anbieter, die diese Bedingungen nicht einhalten, aus der Liste zu entfernen und Listungen aus beliebigen Gründen abzulehnen, zurückzuhalten oder zu entfernen.

Wir führen häufige Konsistenzprüfungen für jeden von uns gemessenen Endpunkt durch. Standardmäßig messen wir mit unserem primären Artificial-Analysis-Konto und parallel mit unabhängigen Testkonten. Jedes dieser Konten wird so erstellt und verwendet, wie es ein gewöhnlicher Entwickler tun würde. Wenn diese Konten bei identischen Nutzdaten und demselben Endpunkt wesentlich unterschiedliche Ergebnisse liefern, untersuchen wir den Sachverhalt, bevor wir Schlussfolgerungen ziehen.

Wenn wir feststellen oder begründet vermuten, dass Datenverkehr von Artificial Analysis anders als im öffentlichen Standardangebot verarbeitet wird, können wir:

Die Veröffentlichung der betroffenen Messwerte zurückhalten, entfernen oder verzögern.
Erneut mit einem öffentlich erstellten Standardkonto messen und diese Ergebnisse veröffentlichen.
Den Endpunkt oder Anbieter aus Performance-Bestenlisten und -Listungen entfernen.
Den Anbieter in allen Bestenlisten sperren.
Öffentlich bekannt geben, dass ein Anbieter Artificial Analysis eine nicht repräsentative Leistung bereitgestellt hat.

Durch das Einreichen von Endpunkten bei Artificial Analysis erkennen Anbieter diese Bedingungen und unser gemeinsames Ziel an, die Integrität der Benchmarks zu wahren. Artificial Analysis kann diese Richtlinie jederzeit aktualisieren.

Wir danken Ihnen für Ihre Unterstützung bei der Wahrung der Integrität unserer Benchmarks. Bei Fragen oder Bedenken wenden Sie sich bitte an unser Team.