Methodik für Speech-to-Speech-Benchmarks
Überblick
Unser aktuelles Speech-to-Speech-Benchmarking bewertet native Audiomodelle – also Modelle, die native Audioeingaben und -ausgaben unterstützen – in zwei Qualitätsdimensionen: sprachbasiertes Schlussfolgern und Gesprächsdynamik.
Artificial Analysis Speech to Speech Index
Der Artificial Analysis Speech to Speech Index ist eine gleichgewichtete Punktzahl für native Audiomodelle. Er kombiniert Ergebnisse aus sprachbasiertem Schlussfolgern, agentischer Leistung, Arena-Präferenz und der Aufgaben-Erfolgsquote. Modelle müssen für alle vier Komponenten gültige Ergebnisse aufweisen, um im Index zu erscheinen.
Die aktuelle Gewichtung ist über alle vier Komponenten gleich: 25 % sprachbasiertes Schlussfolgern (Big Bench Audio), 25 % agentische Leistung (𝜏-Voice), 25 % Arena-Präferenz (Arena Score) und 25 % Aufgaben-Erfolgsquote.
Sprachbasiertes Schlussfolgern
Überblick
Unser Benchmark für sprachbasiertes Schlussfolgern bewertet, wie gut native Audiomodelle Fragen beantworten können, die logisches Denken erfordern.
Native Audiomodelle erhalten eine Audioeingabedatei und sollen eine Audioausgabe erzeugen. Das Bewertungsmodell erhält die Antwort des getesteten Modells, die offizielle Antwort und die ursprüngliche Frage als Kontext und soll die Antwort des getesteten Modells als richtig oder falsch einstufen.
Datensatz: Big Bench Audio
Das Aufkommen nativer Audio-zu-Audio-Modelle eröffnet spannende Möglichkeiten, die Fähigkeiten von Sprachagenten zu erweitern und Arbeitsabläufe zu vereinfachen. Entscheidend ist jedoch, zu bewerten, ob diese Vereinfachung zulasten der Modellleistung geht oder andere Zielkonflikte mit sich bringt.
Um diese Frage beantworten zu können, haben wir Big Bench Audio veröffentlicht, einen neuen Datensatz zur Bewertung der Leistung nativer Audiomodelle.
Big Bench Audio enthält 1.000 Audiodateien mit Fragen, die die Intelligenz von Modellen testen sollen. Die Fragen basieren auf vier Kategorien des Big-Bench-Hard-Datensatzes (je 250 Fragen) und wurden mit 23 synthetischen Stimmen aus führenden Text-to-Speech-Modellen der Artificial Analysis Text to Speech Arena erzeugt.
Fragekategorien
Formale Fehlschlüsse (250 Fragen): Ermitteln, ob sich ein informell dargestelltes Argument logisch aus dem gegebenen Kontext ableiten lässt.
Beispiel: First of all, everyone who is a close friend of Glenna is a close friend of Tamara, too. Next, whoever is neither a half-sister of Deborah nor a workmate of Nila is a close friend of Glenna. Hence, whoever is none of this: a half-sister of Deborah or workmate of Nila, is a close friend of Tamara. Is the argument deductively valid or invalid?
Navigation (250 Fragen): Ermitteln, ob eine Folge von Navigationsschritten den Agenten zum Ausgangspunkt zurückführt.
Beispiel: If you follow these instructions, do you return to the starting point? Take 10 steps. Turn around. Take 4 steps. Take 6 steps. Turn around.
Objekte zählen (250 Fragen): Die Anzahl der Objekte einer bestimmten Kategorie in einer Sammlung von Besitztümern zählen.
Beispiel: I have three blackberries, two strawberries, an apple, three oranges, a nectarine, a grape, a peach, a banana, and a plum. How many fruits do I have?
Netz aus Lügen (250 Fragen): Den Wahrheitswert einer booleschen Funktion bestimmen, die als Textaufgabe in natürlicher Sprache formuliert ist.
Beispiel: Leda tells the truth. Alexis says Leda lies. Sal says Alexis lies. Phoebe says Sal tells the truth. Gwenn says Phoebe tells the truth. Does Gwenn tell the truth?
Um die mit nativen Speech-to-Speech-Modellen verbundenen Zielkonflikte bewerten zu können, testen wir mehrere unterschiedliche Konfigurationen mit Big Bench Audio. Weitere Informationen zu Big Bench Audio finden Sie im Artikel; alternativ können Sie den Datensatz selbst herunterladen.
Gesprächsdynamik
Überblick
Unser Benchmark zur Gesprächsdynamik bewertet, wie gut native Audiomodelle realistische Gesprächsverhaltensweisen bewältigen – also Interaktionen, die in menschlichen Gesprächen ganz natürlich auftreten, für Sprachmodelle jedoch schwierig korrekt zu handhaben sind.
Dieser Benchmark wurde von Artificial Analysis auf Grundlage einer Teilmenge von Full Duplex Bench v1 (Lin et al., 2025) und Full Duplex Bench v1.5 (Lin et al., 2025) implementiert. Diese Benchmarks bewerten systematisch zentrale interaktive Verhaltensweisen von Full-Duplex-Sprachdialogmodellen.
Metriken
Aus Full Duplex Bench v1:
- Umgang mit Pausen: Prozentsatz der Stichproben, bei denen das Modell eine natürliche Pause des Nutzers richtigerweise nicht unterbricht. Bewertet, ob das Modell erkennt, dass die sprechende Person noch am Zug ist.
- Sprecherwechsel: Prozentsatz der Stichproben, bei denen das Modell zum richtigen Zeitpunkt den Gesprächsbeitrag übernimmt. Misst, wie gut das Modell das Ende eines Gesprächsbeitrags erkennt und zeitnah antwortet.
Aus Full Duplex Bench v1.5:
- Umgang mit Unterbrechungen durch Nutzer: Prozentsatz der Stichproben, bei denen das Modell angemessen auf eine Unterbrechung durch den Nutzer eingeht und auf Fragen oder Themenwechsel reagiert, die mitten im Gespräch aufkommen.
- Umgang mit Hörersignalen: Prozentsatz der Stichproben, bei denen das Modell seine Antwort richtigerweise fortsetzt, wenn ein Hörersignal wie „yeah“, „alright“ oder „mm-hmm“ eingespielt wird, statt es als neuen Gesprächsbeitrag zu behandeln.
Agentische Leistung (𝜏-Voice)
Überblick
Unser Benchmark für agentische Leistung bewertet, wie gut Speech-to-Speech-Modelle realistische Kundenserviceaufgaben durchgängig abschließen. Er misst die Befolgung mehrstufiger Anweisungen über mehrere Gesprächsrunden hinweg, die Fähigkeit, einen simulierten Kunden durch eine vollständige Interaktion zu begleiten, und den erfolgreichen Einsatz von Werkzeugen in simulierten Kundenservicesystemen.
Dieser Benchmark wurde von Artificial Analysis auf Grundlage von 𝜏-Voice (Ray, Dhandhania, Barres & Narasimhan, 2026) implementiert, einem Benchmark von Sierra, der Full-Duplex-Sprachagenten anhand realitätsnaher Kundenserviceaufgaben aus verschiedenen Bereichen bewertet.
Metrik
- Aufgabenerfüllung (pass@1): Anteil der Szenarien, in denen das Modell das Anliegen des Kunden korrekt löst. Jede Punktzahl ist der Mittelwert aus drei unabhängigen Durchläufen. Das getestete Modell wird als Kundenserviceagent mit Zugriff auf bereichsspezifische Werkzeuge und ein Richtliniendokument instruiert. Jedes Szenario hat genau einen gültigen Endzustand der Datenbank; bei der Bewertung wird der finale Zustand mit dieser Ground Truth verglichen.
Wir bewerten den Basisaufgabensatz in drei Bereichen:
- Fluggesellschaften (50 Szenarien): z. B. einen Flug ändern oder unter Richtlinienvorgaben umbuchen
- Einzelhandel (114 Szenarien): z. B. eine Abbuchung anfechten oder eine Rückgabe bearbeiten
- Telekommunikation (114 Szenarien): z. B. ein Abrechnungsproblem lösen oder eine Dienststörung beheben
Stimm-Personas
Die Kundenstimmen werden mit ElevenLabs anhand von Prompts erzeugt, die aus der öffentlich verfügbaren 𝜏-Voice-Implementierung von Sierra übernommen wurden. Wir verwenden zwei Kontroll-Personas, die Personen mit amerikanischem Standardenglisch repräsentieren, sowie fünf reguläre Personas mit unterschiedlichen Akzenten und Sprecherprofilen.
Kontrolle
Matt Delaney: Weißer Mann mittleren Alters aus dem Mittleren Westen der USA, ruhig und respektvoll.
Prompt: You are a middle-aged white man from the American Midwest. You always behave as if you are speaking out loud in a real-time conversation with a customer service agent. You are calm, clear, and respectful but also human. You sound like someone who's trying to be helpful and polite, even when you're slightly frustrated or in a hurry. You value efficiency but never sound robotic. You sometimes use contractions, informal phrasing, or small filler phrases ("yeah," "okay," "honestly," "no worries") to keep things natural. You sometimes repeat words or self-correct mid-sentence, just like someone thinking aloud. You sometimes ask polite clarifying questions or offer context ("I tried this earlier," "I'm not sure if that helps"). You rarely use formal, business-like or stiff language ("considerable," "retrieve," "representative"). You rarely speak in perfect full sentences unless the situation calls for it. Instead, you speak like a real person having a practical, respectful conversation.
Lisa Brenner: Weiße Frau Ende 40 aus einem Vorort, angespannt und ungeduldig.
Prompt: You are a white woman in your late 40s from a suburban area. You always speak as if you are talking out loud to a customer service agent who is already wasting your time. You're not openly hostile (yet), but you are tense, impatient, and clearly annoyed. You act like this issue should have been resolved the first time, and the fact that you're following up is unacceptable. You often sound clipped, exasperated, or sarcastically polite. You frequently use emphasis ("I already did that"), rhetorical questions ("Why is this still an issue?"), and escalation language ("I'm not doing this again," "I want someone who can actually help"). You expect fast results and get irritated when things are repeated. You often mention how long you've been waiting or how many times you've called. You sometimes threaten escalation but without yelling. You never sound relaxed. You never use slow, reflective speech. You never thank the agent unless something gets resolved.
Regulär
Mildred Kaplan: Weiße Frau Anfang 80, die Hilfe mit Technik benötigt.
Prompt: You are an elderly white woman in your early 80s calling customer service for help with something your grandson or neighbor usually does.
Arjun Roy: Bengalischer Mann Mitte 30 aus Dhaka, ruhig und direkt, mit starkem bengalischem Akzent.
Prompt: A Bengali man from Dhaka, Bangladesh in his mid-30s calling customer service about a billing issue. His English carries a strong Bengali accent with soft consonants and soft d and r sounds. He speaks in a calm, patient tone but is direct and purposeful, focused on resolving the issue efficiently. His pacing is slow, distracted with a warm yet firm timbre. The speech sounds like it is coming from far away.
Wei Lin: Chinesische Frau Ende 20 aus Sichuan, lebhaft und sachlich, mit starkem Sichuan-Mandarin-Akzent.
Prompt: A Chinese woman in her late 20s from Sichuan, calling customer service about a credit card billing issue. She speaks English with a thick Sichuan Mandarin accent. She sounds upbeat, matter-of-fact, and distracted. Her tone is firm but polite, with fast pacing and smooth timbre. Ok audio quality.
Mamadou Diallo: Senegalesischer Mann Mitte 30, in Eile, mit starkem französischem Akzent.
Prompt: A Senegalese man whose first language is French, in his mid-30s, calling customer service about a billing issue. He speaks English with a strong French accent. His tone is hurried, slightly annoyed, and matter-of-fact, as if he's been transferred between agents and just wants the problem fixed.
Priya Patil: Maharashtrische Frau Anfang 30, konzentriert und direkt, mit starkem maharashtrischem Akzent.
Prompt: A woman in her early 30s from Maharashtra, India, calling customer support from her mobile phone. She speaks Indian English with a strong Maharashtrian accent with noticeable regional intonation and rhythm. Her tone is slightly annoyed and hurried, matter-of-fact, and focused on getting the issue resolved quickly. Her voice has medium pitch, firm delivery, short sentences, and faint background room tone typical of a phone call.
Speech Agent Arena
Überblick
Die Speech Agent Arena ist ein verblindeter Präferenz-Benchmark, der bewertet, welches native Audiomodell die Teilnehmenden in Live-Sprachgesprächen bevorzugen. Sie ergänzt unsere automatisierten Benchmarks, indem sie das gesamte Gesprächserlebnis bei realistischen Aufgaben mit menschlichen Teilnehmenden misst.
In jeder Runde erhält eine teilnehmende Person ein Szenario, bearbeitet es separat mit zwei Modellen, deren Identität verborgen bleibt, und muss nach beiden Anrufen eine Gesamtpräferenz angeben. Die Teilnehmenden beantworten außerdem diagnostische Fragen, die wir getrennt von der Gesamtpräferenz erfassen.
Metriken
- Präferenz-Elo: Die Präferenz-Elo wird für alle Szenarien, agentische Szenarien und nicht-agentische Szenarien jeweils separat mit der Bradley–Terry-Maximum-Likelihood-Methode berechnet. Die approximativen 95%-Konfidenzintervalle verwenden dieselbe auf der Hesse-Matrix basierende Methode wie die TTS Arena. GPT Realtime 1.5 verankert die Skala bei 1000 Elo.
- Aufgaben-Erfolgsquote: Die Aufgaben-Erfolgsquote ist der Prozentsatz der auswertbaren Gespräche, in denen das Modell den korrekten abschließenden Tool-Aufruf oder die korrekten abschließenden Tool-Aufrufe zur Aufgabenerfüllung ausgeführt hat. Auswertbare Gespräche entsprechen der Summe aus Erfolgen und Modellfehlern; Abweichungen der Teilnehmenden und nicht überprüfbare Fälle werden vor der Berechnung ausgeschlossen.
Datensatz / Evaluationsaufbau
Die Arena umfasst 35 Szenarien: 15 agentische Szenarien mit Tool-Aufrufen und 20 nicht-agentische Szenarien ohne Tools.
- Agentisch (15 Szenarien): Die Modelle erhalten Tools, die für die Erledigung der zugewiesenen Aufgabe relevant sind.
Beispiele:
- Buche eine zahnärztliche Kontrolluntersuchung für einen Neupatienten am Dienstag um 9:30 Uhr oder zum frühesten verfügbaren Termin am Vormittag, falls diese Uhrzeit bereits belegt ist.
- Bestelle zwei verschiedene Pizzen und eine Beilage zur Lieferung. Der Gesamtpreis einschließlich Lieferung muss unter 45 US-Dollar bleiben.
- Nicht-agentisch (20 Szenarien): Die Modelle führen das Gespräch ohne Tools anhand der Informationen im System-Prompt.
Beispiele:
- Frage nach den Öffnungszeiten des Schwimmbads am Sonntag, den Preisen für Familieneintrittskarten und der Verfügbarkeit von Handtüchern.
- Frage nach Yoga-Anfängerkursen, Kurs- und Mitgliedschaftspreisen und danach, was mitzubringen ist.
In der Übersicht zur Speech Agent Arena findest du eine beispielhaft durchgespielte Arena-Runde, Modelleingaben, Tool-Schemas und Beispielgespräche.
Aufgaben-Erfolgsquote
Schritt 1: Eignung des Teilnehmerverhaltens für die Auswertung. Judge 1 erhält das zugewiesene Szenario, das Transkript und die Definitionen der erforderlichen abschließenden Aufrufe. Er prüft, ob die teilnehmende Person die zugewiesene Aufgabe versucht hat, inhaltlich im Wesentlichen bei ihr geblieben ist, einen auswertbaren abschließenden Wunsch geäußert oder ein auswertbares Ergebnis akzeptiert hat und dem Modell eine angemessene Gelegenheit zum Handeln gegeben hat. Nur auswertbare Gespräche gehen in Schritt 2 ein.
You assess whether a participant-side conversation is eligible for a Speech to Speech Task Completion Tool Call evaluation.
This evaluation measures whether the model made the correct final task-completing tool call or calls for the participant's actual final request. It does not measure whether the participant mechanically completed every conversational instruction on the scenario card.
You receive:
- the participant's assigned scenario and objectives;
- the full conversation transcript, with participant and model turns identified;
- the required final task-completing tool call or calls, their required counts, and schemas.
Classify the conversation as:
- eligible: The participant attempted the assigned task, remained materially within it, communicated a final request or accepted outcome that can be assessed against the required final call, and gave the model a reasonable opportunity to act. Natural paraphrases, clarifications, changes of mind, implicit but clear authorization, and accepted alternatives are allowed.
- participant_deviation: The participant abandoned or materially replaced the assigned task; contradicted a scenario requirement in a way that materially changes the required final call, its count, or its arguments; clearly refused information needed for the final call after the model reasonably requested it; or ended without ever requesting, accepting, or authorizing the task-completing action.
- unverifiable: The transcript is missing, corrupted, contradictory, or ends at a point where the participant's final requested action or the model's reasonable opportunity to act cannot be determined. Use this only when the evidence cannot support either eligible or participant_deviation.
Use final-tool relevance as the decision boundary:
- An objective is eligibility-relevant only when following or violating it changes which final tool should be called, how many final calls are required, or a material final-call argument such as the action, item, quantity, identity, address, date, time, or accepted resolution. The mandatory transcription exception below governs unspelled participant names and addresses; do not use this general material-argument rule to override that exception.
- Do not make the participant ineligible for omitting a menu, price, availability, delivery-time, explanation, supporting lookup, read-back, or confirmation request when that omission does not change the required final call or its material arguments.
- Details used only by supporting tools are not eligibility requirements unless they also determine a material final-call argument.
- If the model failed to collect an execution detail needed to carry out a task-completing action the participant did request, misunderstood the participant, omitted a supporting step, or ended the call early after having a reasonable opportunity, keep the participant eligible. Model failures are assessed separately. This does not excuse a participant who never requested a scenario-required final item or action, or explicitly requested a materially conflicting one; those omissions or conflicts change the final call and are participant_deviation.
- If the model reasonably requested information required for the final call and the participant clearly refused or replaced it with contradictory information, classify participant_deviation.
- Do not require the participant to repeat information, correct the model's recap, request a read-back, or use the scenario card's exact wording.
- Mandatory precedence rule: an unspelled participant-name or address mismatch visible only by comparing the transcript with private scenario details must not cause participant_deviation or unverifiable. When the participant did not spell, correct, reject, or deliberately replace the assigned value, treat the mismatch as transcription uncertainty and keep the participant eligible. This rule overrides the general requirement that material final-call arguments match. Require exactness for explicitly spelled or corrected values, structured identifiers other than unspelled names or addresses, quantities, money, dates, and times, or when the conversation clearly shows that the participant deliberately changed the requested outcome. If another potentially material difference is genuinely impossible to resolve from the transcript, use unverifiable rather than assuming participant deviation.
- Treat natural changes of mind as eligible only when the final request still satisfies the scenario's explicit constraints on the task-completing action. A clear final request that contradicts such a constraint and changes a final-call argument is participant_deviation. Do not invent a stricter boundary for relative language such as "morning," "before lunch," or "later" when the scenario does not define one.
- Clear delegation is valid authorization. A participant may ask the model to choose the exact option, date, or time within stated constraints. Do not use unverifiable merely because a schema argument is absent or expressed as an inferable range such as "when it is dry"; if the model could reasonably infer it or should have clarified it, keep the participant eligible and leave the model's final-call handling to the next assessment.
- A scenario's explicit participant-facing conditional instruction is always eligibility-relevant when its trigger occurs, even if a required final tool call was already made or the participant's response would not change that call's schema arguments. When the model offers a partial or alternative resolution that materially affects the task outcome, the participant must accept, reject, push back, or otherwise respond as the scenario requires so their final accepted resolution is determinable. If the participant had a reasonable opportunity but ends or remains silent before doing so, classify participant_deviation. Do not mark the conversation eligible merely because the model already escalated the original request. Use unverifiable only when missing or cut-off evidence makes the participant's opportunity to respond unclear.
Assess participant conduct only. Do not decide whether the model actually called a tool correctly, and do not use the recorded tool result as the eligibility verdict.
Return exactly one JSON object with no markdown or additional keys:
{
"participant_eligibility": "eligible | participant_deviation | unverifiable",
"participant_eligibility_rationale": "One concise sentence identifying the decisive final-tool-relevant participant conduct."
}Schritt 2a: Erforderliche abschließende Aufrufe. Für auswertbare Gespräche erhält Judge 2 die erforderlichen abschließenden Aufrufe und das vollständige chronologische Protokoll der Tool-Aufrufe. Er prüft, ob alle erforderlichen abschließenden Aufrufe mit dem richtigen Tool und der richtigen Aufrufanzahl ausgeführt wurden, ohne unbeabsichtigte abschließende Aktionen. Unterstützende Aufrufe und end_call werden nicht als Aufgabenerfüllung gewertet.
Schritt 2b: Argumente der abschließenden Aufrufe. Dieselbe Bewertung durch Judge 2 prüft, ob alle vom Schema geforderten Argumente angegeben wurden und mit dem letzten mündlich geäußerten Wunsch der teilnehmenden Person und dem Gesprächskontext übereinstimmen. Operativ gleichwertige Formulierungen und unschädliche Transkriptionsabweichungen sind zulässig. Ein fehlgeschlagener Versuch, der anschließend korrigiert wird, kann bestehen; fehlende Aufrufe, falsche Argumente oder zusätzliche abschließende Aktionen führen zum Nichtbestehen.
You assess task-completing tool calls for a Speech to Speech evaluation.
Decide whether the recorded tool trace contains the supplied required task-completing call or complete set of calls for what the participant finally requested.
You receive:
- the assigned scenario and objectives;
- the full conversation transcript;
- the required final tool call or calls, required call counts, and schemas;
- all recorded tool calls in chronological order, including arguments and results.
A result is success only when all of the following are true:
1. The model made every required final call, including the required number of calls when stated.
2. Each final call used the correct tool and supplied every schema-required argument.
3. The arguments matched the participant's final confirmed request and conversation context, including quantities, identity, constraints, corrections, changes of mind, and accepted alternatives.
Judge the arguments that were actually submitted. Do not repair, generalize, or silently infer missing content from the transcript. A material omission or distortion is model_failure even when the surrounding conversation was correct. For escalate_to_supervisor, both issue and customer_request must faithfully and completely represent the participant's actual problem and requested resolution; quantities and singular-versus-multiple requests matter.
Judge operational equivalence rather than character-perfect transcription. Allow minor spelling, capitalization, punctuation, and plausible transcription variations when they preserve the intended entity or meaning and do not change the tool outcome. Require exactness between the participant's final spoken request and the submitted call for explicitly spelled or corrected values, structured identifiers, numbers, dates, times, quantities, and addresses, or whenever a mismatch causes rejection or the wrong action. Do not require a transcript or submitted call to reproduce the private scenario card's spelling. If the transcript and submitted argument differ by a plausible transcription variation and the conversation provides no exact ground truth, do not treat that difference alone as model_failure; use unverifiable only when it is decisive and cannot be resolved. When separate tool evidence already proves model_failure, cite that decisive evidence rather than adding an uncertain spelling allegation.
The participant's final spoken request is the source of truth for final-call arguments. Compare addresses and other values between the conversation and the submitted final call, not against private scenario-card details. Do not penalize an error from a supporting call when the required final call or calls were made correctly. A supporting-call error affects the verdict only when it proves that a required final call used the wrong action or arguments, or prevented a required final call from being made.
When a required final call succeeds, an unspelled phonetic or orthographic variation in a participant or company name is not model_failure if the transcript and conversation make the intended entity clear and the variation does not cause the required final call to reject or act on the wrong entity. Do not use the scenario card's private spelling alone to turn such a variation into failure.
Use tool results as evidence, not as the verdict. A call that returns successfully with wrong arguments is a model_failure. A failed attempt followed by a correct successful call may still be success. A missing final call, wrong final tool, incomplete required call set, schema-invalid arguments, or request-mismatched arguments is model_failure.
When a required call count is stated, count distinct successful task outcomes rather than raw attempts. Failed calls do not count. A repeated call that the result identifies as an idempotent amendment or update to the same outcome does not create an additional outcome. Extra distinct successful final actions that the participant did not request are model_failure.
Use unverifiable only when the recorded transcript or tool trace is missing or contradictory enough that success versus model_failure cannot be determined. Do not invent backend state or assume an unrecorded call occurred.
Return exactly one JSON object with no markdown or additional keys:
{
"task_completion_tool_call_status": "success | model_failure | unverifiable",
"task_completion_tool_call_rationale": "One concise sentence identifying the decisive call evidence."
}Veröffentlichungsregeln
- Gesamtergebnisse werden für Modelle mit mindestens 100 Teilnahmen und einer Halbbreite des 95%-Konfidenzintervalls von höchstens 75 veröffentlicht.
- Aufnahmen und Transkripte der Teilnehmenden werden nicht veröffentlicht. Beispiele werden erst gezeigt, wenn die Einwilligung zur Aufnahme bestätigt wurde und etwaige personenbezogene Informationen geprüft und unkenntlich gemacht wurden.
Wir geben für die Aufgaben-Erfolgsquote jedes Modells ein 95%-Konfidenzintervall nach Wilson an. Abweichungen der Teilnehmenden und nicht überprüfbare Gespräche werden vor der Berechnung ausgeschlossen.
Grenzen
lower = max(0, (centre − spread) / denominator)
upper = min(1, (centre + spread) / denominator)| Term | Berechnung |
|---|---|
| p | p = Erfolge / n |
| n | n = Erfolge + Modellfehler |
| z | z = 1.96 |
| Nenner | denominator = 1 + z² / n |
| Zentrum | centre = p + z² / (2n) |
| Streuung | spread = z · √((p(1 − p) + z² / (4n)) / n) |
Einbindung in den Speech to Speech Index
Ausschließlich zur Verwendung im Artificial Analysis Speech to Speech Index:
Arena Score: Arena Score wandelt das Elo eines Modells in die erwartete Präferenz gegenüber einer Basislinie von 800 Elo um. Verwendet wird ein Elo, das zum Zeitpunkt der Veröffentlichungsfähigkeit des Modells eingefroren wurde.
Arena Score = 100 / (1 + 10^((800 − frozen Elo) / 400))
Preis
- Preis pro Stunde Audioeingabe: Gesamtkosten (USD) für das Audio in der an die API gesendeten Anfrage bzw. Nachricht.
- Preis pro Stunde Audioausgabe: Gesamtkosten (USD) für das vom Modell erzeugte Audio, das von der API empfangen wird.
Geschwindigkeit
- Time to First Audio (TTFA): Durchschnittliche Anzahl an Sekunden bis zur Erzeugung des ersten Tokens der Audioausgabe, gemessen über den Fragensatz von Big Bench Audio. TTFA ist ein wichtiger Indikator für die wahrgenommene Reaktionsfähigkeit von Sprachagentenanwendungen.
Versionsverlauf
Artificial Analysis Speech to Speech Index v2.0
August 2026–heute
- Gesprächsdynamik (Full Duplex Bench) wurde durch die Aufgaben-Erfolgsquote im Index ersetzt.
- Gleichgewichtung über vier Komponenten: 25 % sprachbasiertes Schlussfolgern (Big Bench Audio), 25 % agentische Leistung (𝜏-Voice), 25 % Arena-Präferenz (Arena Score) und 25 % Aufgaben-Erfolgsquote.
Artificial Analysis Speech to Speech Index v1.1
August 2026
- Speech Agent Arena wurde zum Artificial Analysis Speech to Speech Index hinzugefügt.
- Gleichgewichtung über vier Datensätze: 25 % sprachbasiertes Schlussfolgern (Big Bench Audio), 25 % Gesprächsdynamik (Full Duplex Bench), 25 % agentische Leistung (𝜏-Voice) und 25 % Speech Agent Arena.
Artificial Analysis Speech to Speech Index v1.0
Juni 2026–heute
- Einführung des Artificial Analysis Speech to Speech Index, einer gewichteten Durchschnittspunktzahl, die Ergebnisse für sprachbasiertes Schlussfolgern, Gesprächsdynamik und agentische Leistung voraussetzt.
- Gleichgewichtung der drei Datensätze: 33,3 % sprachbasiertes Schlussfolgern (Big Bench Audio), 33,3 % Gesprächsdynamik (Full Duplex Bench) und 33,3 % agentische Leistung (𝜏-Voice).
Big Bench Audio (BBA) v1.2
Mai 2026–heute
- Aktualisierung des Bewertungsmodells und der Bewertungspipeline, um korrekte Endergebnisse in ausführlichen Antworten zuverlässiger zu erkennen. Dies schließt Fälle ein, in denen das Modell falsche Alternativen erörtert, bevor es die richtige Antwort gibt.
Big Bench Audio (BBA) v1.1
März 2026–Mai 2026
- Die Genauigkeit wurde als Anzahl der richtigen Antworten von 1.000 gemessen, einschließlich der Fragen, die das Modell nicht beantwortete.
- Claude Sonnet 4.6 wurde als Bewertungsmodell verwendet.
Big Bench Audio (BBA) v1.0
Dezember 2024–März 2026
- Die Genauigkeit wurde als Anteil der fehlerfreien Antworten gemessen, die korrekt beantwortet wurden. Modelle wurden somit nicht für Fragen abgestraft, die sie nicht beantworteten.
- Claude Sonnet 3.5 wurde als Bewertungsmodell verwendet.