Methodik des Endpoint Accuracy Index v1.0

Endpoint Accuracy Index v1.0

Der Endpoint Accuracy Index misst, wie sich die Intelligenz und Leistungsfähigkeit eines bestimmten Modells zwischen verschiedenen API-Anbietern unterscheidet, die es bereitstellen. Dasselbe Modell kann sich je nach Anbieter aufgrund von Quantisierung, Standardwerten für das Sampling, Kontextverarbeitung, Token-Limits, Prompt-Parsern und anderen endpunktseitigen Konfigurationen unterschiedlich verhalten. Um dies zu erfassen, führen wir für jeden Anbieterendpunkt eine festgelegte Evaluationssuite erneut aus und geben an, wie genau der Endpunkt die Modellgenauigkeit reproduziert.

Als Baseline verwenden wir außerdem eine selbst gehostete Modellbereitstellung und drücken den Gesamtwert für die Genauigkeit jedes Anbieterendpunkts als Prozentsatz dieser Referenzbereitstellung aus. Der Index ist so konzipiert, dass 100 % der Übereinstimmung eines Endpunkts mit der Referenz entsprechen und niedrigere Werte eine geringere Genauigkeit als die Baseline anzeigen.

Für jedes Ergebnis weisen wir die statistische Signifikanz aus. Jedes Endpunktergebnis enthält ein 95-%-Konfidenzintervall, das anhand der Variation zwischen den Wiederholungen berechnet wird. Wir kennzeichnen, ob ein Endpunkt statistisch mit der Referenz vereinbar ist oder signifikant darunterliegt. Zudem geben wir für jeden Endpunkt einen Hinweis aus, wenn bestimmte Eigenschaften oder Mängel das Ergebnis beeinflusst haben.

Die Ergebnisse sind Momentaufnahmen und keine Live-Überwachung. Jedes Ergebnis ist datiert und enthält die Anzahl der verwendeten Wiederholungen, damit es im richtigen Kontext interpretiert werden kann.

Evaluationssuite

Jeder Endpunkt wird mit einer festgelegten Suite aus drei Evaluationen bewertet, die die native Tool-Nutzung, anspruchsvolles Schlussfolgern und den Abruf aus langen Kontexten abdecken. Die Zahl der Wiederholungen wird für jede Evaluation so gewählt, dass die Konfidenzintervalle eng bleiben, und zusammen mit dem jeweiligen Ergebnis angezeigt.

Evaluationsdatensätze

Bewertung

Jede Evaluation ergibt eine mittlere Genauigkeit über ihre Wiederholungen. Der zusammengesetzte Endpoint Accuracy Index ist die gewichtete Kombination der drei Evaluationswerte, normiert auf eine Skala von 0 bis 100:

Die mittlere Genauigkeit jeder Evaluation (0 bis 1) wird mit ihrer Gewichtung multipliziert und durch die Gesamtgewichtung geteilt. Alle drei Evaluationen sind gleich gewichtet (33 % / 33 % / 33 %). Der Gesamtwert wird nur berechnet, wenn für den Endpunkt bei allen drei Evaluationen ein Ergebnis der aktuellen Version vorliegt.

Wenn ein selbst gehosteter Referenzendpunkt vorhanden ist, werden die Werte sowohl je Evaluation als auch für den Gesamtwert als Prozentsatz dieser Referenz ausgedrückt. Dabei wird dieselbe gewichtete Kombination der Verhältnisse je Evaluation verwendet:

Der Wert jedes Endpunkts wird als Prozentsatz der Referenz angezeigt, mit einem 95-%-Konfidenzintervall, das die eigene Unsicherheit mit der Unsicherheit der Referenz kombiniert. Dieses Intervall bilden wir aus der Variation zwischen den Wiederholungen mit einem zweiseitigen Student-t-Test auf dem 95-%-Niveau. Wir kombinieren die drei Evaluationen nach der Quadratsummenmethode und vergleichen das Ergebnis mit der Referenz (100 %):

• Innerhalb des Bereichs: Das Konfidenzintervall schließt die Referenz ein – es besteht kein statistisch erkennbarer Unterschied.
• Signifikant außerhalb des Bereichs: Das Konfidenzintervall liegt vollständig außerhalb der Referenz – der Unterschied ist statistisch signifikant.

Der genaue Wert und das Konfidenzintervall jedes Endpunkts werden im Diagramm angezeigt.

Rohwerte von 0 bis 1 bleiben in der Datenschicht erhalten und werden nur für die Anzeige mit 100 multipliziert. Für jeden Endpunkt verwenden wir den neuesten Lauf je Evaluation. Wenn mehrere Läufe vorhanden sind, bevorzugen wir den aktuellsten und bei gleichem Datum den Lauf mit den wenigsten fehlerhaften Aufgaben.

Inferenzparameter

Die Endpunkte werden mit standardisierten Einstellungen evaluiert, damit Unterschiede auf den Endpunkt und nicht auf das Testsystem zurückzuführen sind:

• Sampling: Standardisierte Sampling-Voreinstellungen werden durchgängig auf alle Endpunkte angewendet: die vom Modellentwickler empfohlene Temperatur, sofern eine angegeben ist, andernfalls 0,6 für Reasoning-Modelle – entsprechend unserem Ansatz für den Artificial Analysis Intelligence Index.
• Reasoning: Es wird der höchste vom Endpunkt unterstützte Reasoning-Modus verwendet.
• Tool-Aufrufe: Es werden die API-Standardwerte verwendet, wobei die Tool-Auswahl auf „auto“ gesetzt und die strikte Einhaltung des Schemas aktiviert ist. Unterstützt ein Endpunkt eine dieser Einstellungen nicht, verwenden wir die ähnlichste von diesem Endpunkt unterstützte Einstellung.
• Streaming: Unsere Baseline ist aktiviertes Streaming. Endpunkte ohne Streaming-Unterstützung werden mit deaktiviertem Streaming ausgeführt.
• Ausgabe und Kontext: Es werden die maximale Zahl der Ausgabetokens und das größte vom Endpunkt unterstützte Kontextfenster verwendet.

Referenzläufe und Reproduzierbarkeit

Der Referenzlauf für jedes Modell ist eine selbst gehostete Bereitstellung des Modells, üblicherweise mit vLLM oder SGLang. Wir konfigurieren den Server mit den vom Modellentwickler und vom Serving-Framework empfohlenen Einstellungen (beispielsweise anhand der vLLM-Rezepte oder des SGLang-Cookbooks) und stellen ihn mit den höchsten für die Modellinferenz empfohlenen Präzisionseinstellungen bereit. Wichtige Konfigurationsdetails wie Versionen des Serving-Frameworks und von CUDA, Informationen zu den Modellgewichten und Startargumente werden erfasst und zusammen mit dem Ergebnis angezeigt. Sie sind im Hinweisfeld des Referenzlaufergebnisses und unten einsehbar.

Die Evaluationssuite ist auf feste Versionen festgelegt, damit Ergebnisse über die Zeit und zwischen Endpunkten vergleichbar sind.

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.12 (Docker image: lmsysorg/sglang:deepseek-v4-blackwell)
- CUDA: 13.0
- Precision: native — W4A8 MoE experts (MegaMoE) + FP8 (e4m3) attention/dense
- Model weights: deepseek-ai/DeepSeek-V4-Pro on Hugging Face

Key SGLang launch args:
- moe-a2a-backend: deepep
- kv-cache-dtype: fp8_e4m3
- reasoning-parser: deepseek-v4
- tool-call-parser: deepseekv4

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.13 (Docker image: lmsysorg/sglang:latest)
- CUDA: 13.0
- Precision: native FP8 with DeepGEMM kernels
- Model weights: zai-org/GLM-5.2-FP8 on Hugging Face

Key SGLang launch args:
- moe-a2a-backend: deepep
- kv-cache-dtype: fp8_e4m3
- reasoning-parser: glm45
- tool-call-parser: glm47

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.13.post1 (Docker image: lmsysorg/sglang:v0.5.13.post1)
- CUDA: 13.0
- Precision: native MXFP4 (FlashInfer MXFP4 MoE kernels) + BF16 attention/dense
- Model weights: openai/gpt-oss-120b on Hugging Face

Key SGLang launch args:
- kv-cache-dtype: bfloat16
- reasoning-parser: gpt-oss
- tool-call-parser: gpt-oss

Ergebnisse als Momentaufnahme

Die Ergebnisse zur Endpunktgenauigkeit sind datierte Momentaufnahmen und keine Live-Überwachung. Endpunkte können sich im Laufe der Zeit verändern, wenn Anbieter ihren Serving-Stack und ihre Endpunktkonfiguration aktualisieren. Daher enthält jedes Ergebnis das Messdatum. Erneute Läufe erfolgen nach einem festgelegten Rhythmus und auf Anfrage des Anbieters. Wir zeigen stets das neueste Ergebnis und dessen Datum an.

Modellauswahl

Beim Benchmarking der Endpunktgenauigkeit priorisieren wir Modelle, wenn ein breites Ökosystem von Anbietern dasselbe Modell bereitstellt (meist Modelle mit offenen Gewichten, die von vielen Inferenzanbietern angeboten werden) und das Modell in der Produktion weit verbreitet ist. Die enthaltenen Modelle bilden eine wechselnde Auswahl, die sich mit der Aufnahme neuer Modelle und Anbieter im Laufe der Zeit verändert und daher nicht feststeht.

Derzeit deckt der Endpoint Accuracy Index folgende Modelle ab:

• DeepSeek V4 Pro
• GLM-5.2
• gpt-oss-120b