Benchmarking-Methodik von Artificial Analysis

Umfang

Artificial Analysis führt Benchmarks zu Intelligenz, Qualität, Leistung und Preis von KI-Modellen, Endpunkten von Inferenz-APIs und Systemen durch. Dieser Bereich unserer Website beschreibt unsere Benchmarking-Methodik einschließlich unserer Qualitäts- und Leistungsbenchmarks.

Beim Benchmarking von Sprachmodellen gelten Endpunkte für uns als serverlos, wenn Kunden nur für ihre Nutzung und nicht einen festen Preis für den Zugang zu einem System zahlen. In der Regel bedeutet dies, dass Endpunkte pro Token abgerechnet werden, häufig mit unterschiedlichen Preisen für Eingabe- und Ausgabetokens.

Über alle Modalitäten hinweg misst unser Leistungsbenchmarking die Ende-zu-Ende-Leistung, die Kunden von KI-Inferenzdiensten und -systemen erleben. Die Benchmark-Ergebnisse sollen also nicht die maximal mögliche Leistung auf einer bestimmten Hardwareplattform abbilden, sondern die reale Leistung, die Kunden bei verschiedenen Anbietern erleben.

Wir führen Benchmarks sowohl für proprietäre Modelle als auch für Modelle mit offenen Gewichten durch.

Details zur Methodik

Definitionen

Auf dieser Seite und auf der gesamten Website von Artificial Analysis verwenden wir folgende Begriffe:

• Modell: Ein großes Sprachmodell (LLM), einschließlich proprietärer, quelloffener Modelle und Modelle mit offenen Gewichten.
• Modellentwickler: Die Organisation, die das Modell entwickelt und trainiert hat. Beispielsweise ist OpenAI der Entwickler von GPT-4 und Meta der Entwickler von Llama 3.
• Endpunkt: Eine gehostete Instanz eines Modells, auf die über eine API zugegriffen werden kann. Ein einzelnes Modell kann bei verschiedenen Anbietern mehrere Endpunkte haben.
• System: Eine dedizierte Rechenumgebung für die Ausführung von KI-Modellen, üblicherweise bereitgestellte Infrastruktur wie eine VM, deren Leistung unter Last gemessen werden kann.
• Anbieter: Ein Unternehmen, das einen oder mehrere Modellendpunkte oder Systeme hostet und den Zugang dazu bereitstellt. Beispiele sind OpenAI, AWS Bedrock und Together.ai. Unternehmen sind häufig sowohl Modellentwickler als auch Anbieter.
• Serverlos: Ein Cloud-Dienst, der nach Nutzung bereitgestellt wird. Bei LLM-Inferenz-APIs bedeutet dies in der Regel eine Abrechnung pro Ein- und Ausgabetoken. Serverlose Cloud-Produkte werden trotzdem auf Servern ausgeführt!
• Offene Gewichte: Ein Modell, dessen Gewichte vom Modellentwickler öffentlich freigegeben wurden. Wir sprechen von „offenen Gewichten“ oder einfach „offenen“ Modellen statt von „Open Source“, da viele offene LLMs unter Lizenzen veröffentlicht wurden, die nicht der vollständigen Definition von Open-Source-Software entsprechen.
• Token: Moderne LLMs basieren auf Tokens – numerischen Darstellungen von Wörtern und Zeichen. LLMs nehmen Tokens als Eingabe entgegen und erzeugen Tokens als Ausgabe. Der Eingabetext wird von einem Tokenizer in Tokens umgewandelt. Verschiedene LLMs verwenden unterschiedliche Tokenizer.
• OpenAI-Tokens: Tokens, die der Tokenizer von OpenAIs GPT-3.5 und GPT-4 erzeugt. Für das Benchmarking von Artificial Analysis werden sie in der Regel mit OpenAIs Python-Paket tiktoken (Tokenizer o200k_base) gemessen. Wir verwenden OpenAI-Tokens bei Artificial Analysis als standardisierte Maßeinheit, um faire Vergleiche zwischen Modellen zu ermöglichen. Alle Metriken in „Tokens pro Sekunde“ beziehen sich auf OpenAI-Tokens.
• Native Tokens: Tokens, die vom eigenen Tokenizer eines LLM erzeugt werden. Mit „nativen Tokens“ unterscheiden wir sie von „OpenAI-Tokens“. Preise beziehen sich in der Regel auf native Tokens.
• Preis (Eingabe/Ausgabe): Der Preis, den ein Anbieter pro an das Modell gesendetem Eingabetoken und pro vom Modell empfangenem Ausgabetoken berechnet. Die angezeigten Preise sind die aktuell von den Anbietern veröffentlichten Preise.
• Mischpreis: Für einen einfacheren Vergleich berechnen wir einen Mischpreis unter der Annahme eines Verhältnisses von 7:2:1 zwischen Tokens mit Cache-Treffer, Eingabetokens und Ausgabetokens.
• Kosten pro Aufgabe: Die gewichteten Durchschnittskosten (USD) für die Bearbeitung einer Aufgabe des Artificial Analysis Intelligence Index. Sie werden berechnet, indem die Preise für Eingabe-, Cache- und Ausgabetokens mit den im Workload verbrauchten Tokens multipliziert, mit den gleichen Gewichtungen pro Benchmark, die auch der Intelligence Index verwendet, gewichtet und anschließend durch die Anzahl der Aufgaben geteilt werden. Als Preis wird entweder der direkte API-Tarif des Anbieters oder der Median über alle Anbieter verwendet. Die Cache-Kosten unterscheiden sich je nach Anbieter. Da die Kosten den tatsächlichen Tokenverbrauch abbilden, verursachen Modelle mit längeren Antworten oder mehr Reasoning-Tokens selbst bei identischen Preisen pro Token höhere Kosten pro Aufgabe.

  wobei i = jeder Benchmark im Artificial Analysis Intelligence Index und w = die Gewichtung dieses Benchmarks im Index

• Zeit bis zum ersten Token: Die Zeit in Sekunden zwischen dem Senden einer Anfrage an den Dienst oder das System und dem Empfang des ersten Tokens der Antwort. Bei Reasoning-Modellen, die Reasoning-Tokens zurückgeben, ist dies das erste Reasoning-Token.
• Zeit bis zum ersten Antworttoken: Die Zeit in Sekunden zwischen dem Senden einer Anfrage an den Dienst oder das System und dem Empfang des ersten Antworttokens. Bei Reasoning-Modellen wird sie nach einer etwaigen „Denkzeit“ gemessen.
• Ausgabegeschwindigkeit (Ausgabetokens pro Sekunde): Die durchschnittliche Anzahl der pro Sekunde empfangenen Tokens nach Empfang des ersten Tokens.
• Gesamtantwortzeit für 100 Ausgabetokens: Die Anzahl der Sekunden zum Erzeugen von 100 Ausgabetokens, die für eine bestmögliche Vergleichbarkeit synthetisch anhand von TTFT und Ausgabegeschwindigkeit berechnet wird.
• Ende-zu-Ende-Antwortzeit: Die Gesamtzeit bis zum Empfang einer vollständigen Antwort, einschließlich der Zeit für die Verarbeitung der Eingabe, das Schlussfolgern des Modells und die Erzeugung der Antwort.
• Durchschnittliche Reasoning-Tokens: Zeit, die Reasoning-Modelle vor der Bereitstellung einer Antwort mit der Ausgabe von „Reasoning“-Tokens verbringen. Die Berechnung basiert auf der durchschnittlichen Anzahl an „Reasoning“-Tokens bei einer vielfältigen Auswahl von 60 Prompts. Wenn die durchschnittliche Anzahl an Reasoning-Tokens nicht verfügbar ist oder noch nicht berechnet wurde, nehmen wir 2.000 Reasoning-Tokens an. Diese Prompts sind unterschiedlich lang und decken verschiedene Themen ab, darunter persönliche und geschäftliche Anfragen, Programmierung, Mathematik, Naturwissenschaften und weitere Bereiche. Die Prompts wurden teils von Artificial Analysis verfasst und stammen teils aus folgenden Evaluationen: MMLU Pro, AIME 2025 und LiveCodeBench. Diese Prompts sind hier abrufbar.