音声対話ベンチマークの方法論
概要
現在の音声対話ベンチマークでは、音声のネイティブ入出力に対応するネイティブ音声モデルを、音声推論と会話ダイナミクスという2つの品質側面から評価しています。
Artificial Analysis Speech to Speech Index
Artificial Analysis Speech to Speech Indexは、ネイティブ音声モデルの均等加重スコアです。音声推論、エージェント性能、Arena 選好、タスク成功率の結果を組み合わせています。インデックスに掲載されるには、4つすべてのコンポーネントで有効な結果を得ている必要があります。
現在の重み付けは4つのコンポーネントで均等です：音声推論（Big Bench Audio）25%、エージェント性能（𝜏-Voice）25%、Arena 選好（Arena Score）25%、タスク成功率 25%。
音声推論
概要
音声推論ベンチマークでは、ネイティブ音声モデルが推論を要する質問に回答する能力を評価します。
ネイティブ音声モデルには入力音声ファイルが与えられ、音声を出力することが求められます。判定モデルには候補回答、正解、元の質問がコンテキストとして与えられ、候補回答を正解または不正解と判定するよう指示されます。
データセット：Big Bench Audio
ネイティブな音声対話モデルの登場により、音声エージェントの能力向上とワークフローの簡素化に大きな可能性が生まれています。しかし、この簡素化がモデル性能の低下を伴うのか、あるいは別のトレードオフをもたらすのかを評価することが重要です。
この問いに答えるため、ネイティブ音声モデルの性能をベンチマークする新しいデータセットBig Bench Audioを公開しました。
Big Bench Audioには、モデルの知能を検証するために設計された質問を収録した1,000件の音声ファイルが含まれます。質問はBig Bench Hardデータセットの4カテゴリ（各250問）に基づき、Artificial Analysis Text to Speech Arenaで上位の音声合成モデルによる23種類の合成音声を使って生成されました。
質問カテゴリ
Formal Fallacies（250問）：自然言語で提示された論証が、与えられた文脈から論理的に導出できるかを判定します。
例：First of all, everyone who is a close friend of Glenna is a close friend of Tamara, too. Next, whoever is neither a half-sister of Deborah nor a workmate of Nila is a close friend of Glenna. Hence, whoever is none of this: a half-sister of Deborah or workmate of Nila, is a close friend of Tamara. Is the argument deductively valid or invalid?
Navigate（250問）：一連の移動指示に従った結果、開始地点に戻るかを判定します。
例：If you follow these instructions, do you return to the starting point? Take 10 steps. Turn around. Take 4 steps. Take 6 steps. Turn around.
Object Counting（250問）：所有物の集合から、指定された種類のアイテム数を数えます。
例：I have three blackberries, two strawberries, an apple, three oranges, a nectarine, a grape, a peach, a banana, and a plum. How many fruits do I have?
Web of Lies（250問）：自然言語の文章問題として表現されたブール関数の真偽値を評価します。
例：Leda tells the truth. Alexis says Leda lies. Sal says Alexis lies. Phoebe says Sal tells the truth. Gwenn says Phoebe tells the truth. Does Gwenn tell the truth?
ネイティブな音声対話モデルの利用に伴うトレードオフを評価するため、Big Bench Audioで複数の構成をテストしています。Big Bench Audioの詳細は、記事をご覧いただくか、データセットをダウンロードしてご確認ください。
会話ダイナミクス
概要
会話ダイナミクスのベンチマークでは、ネイティブ音声モデルが現実的な会話行動に対応する能力を評価します。人間同士の会話では自然に起こる一方、音声モデルにとって適切な対応が難しいやり取りが対象です。
このベンチマークは、全二重音声対話モデルの主要な対話行動を体系的に評価するFull Duplex Bench v1（Lin et al., 2025）とFull Duplex Bench v1.5（Lin et al., 2025）の一部を基に、Artificial Analysisが実装しています。
指標
Full Duplex Bench v1から：
- ポーズへの対応：ユーザーの自然なポーズ中に、モデルが正しく割り込まなかったサンプルの割合です。話者がまだ発話権を持っていることをモデルが認識できるかを評価します。
- 話者交替：適切なタイミングでモデルが正しく会話の発話権を引き継いだサンプルの割合です。発話の区切りを検出し、速やかに応答する能力を測定します。
Full Duplex Bench v1.5から：
- ユーザーの割り込みへの対応：会話の途中でユーザーが投げかけた質問や話題変更に応じ、モデルが割り込みに正しく対応したサンプルの割合です。
- あいづちへの対応：「yeah」「alright」「mm-hmm」などのあいづちが再生された際、それを新たな発話として扱わず、モデルが正しく応答を続けたサンプルの割合です。
エージェント性能（𝜏-Voice）
概要
エージェント性能ベンチマークでは、音声対話モデルが現実的なカスタマーサービス業務を最初から最後まで完遂する能力を評価します。複数ターンにわたる指示への追従、シミュレーション上の顧客を一連のやり取りを通して支援する能力、シミュレーションされたカスタマーサービスシステムに対するツール利用の成否を測定します。
このベンチマークは、実社会のさまざまな領域における根拠に基づくカスタマーサービス業務で全二重音声エージェントを評価するSierraのベンチマーク𝜏-Voice（Ray, Dhandhania, Barres & Narasimhan, 2026）を基に、Artificial Analysisが実装しています。
指標
- タスク完了率（pass@1）：モデルが顧客の問題を正しく解決したシナリオの割合です。各スコアは、独立した3回の試行の平均です。テスト対象モデルには、領域固有のツールとポリシー文書を利用できるカスタマーサポート担当者としてのプロンプトが与えられます。各シナリオには有効なデータベースの最終状態が1つだけ存在し、評価では最終状態をこのグラウンドトゥルースと比較します。
基本タスクセットを使い、3つの領域で評価します。
- 航空（50シナリオ）：例：フライトの変更、ポリシー上の制約下での予約変更
- 小売（114シナリオ）：例：請求への異議申し立て、返品処理
- 通信（114シナリオ）：例：請求問題の解決、サービス問題のトラブルシューティング
音声ペルソナ
顧客の音声は、一般公開されているSierraの𝜏-Voice実装から応用したプロンプトに基づき、ElevenLabsで生成します。標準的な英語話者を表す2つの対照ペルソナと、多様なアクセントや話者プロフィールを表す5つの通常ペルソナを使用します。
対照
Matt Delaney：米国中西部出身の中年の白人男性。穏やかで礼儀正しい。
プロンプト：You are a middle-aged white man from the American Midwest. You always behave as if you are speaking out loud in a real-time conversation with a customer service agent. You are calm, clear, and respectful but also human. You sound like someone who's trying to be helpful and polite, even when you're slightly frustrated or in a hurry. You value efficiency but never sound robotic. You sometimes use contractions, informal phrasing, or small filler phrases ("yeah," "okay," "honestly," "no worries") to keep things natural. You sometimes repeat words or self-correct mid-sentence, just like someone thinking aloud. You sometimes ask polite clarifying questions or offer context ("I tried this earlier," "I'm not sure if that helps"). You rarely use formal, business-like or stiff language ("considerable," "retrieve," "representative"). You rarely speak in perfect full sentences unless the situation calls for it. Instead, you speak like a real person having a practical, respectful conversation.
Lisa Brenner：郊外に住む40代後半の白人女性。緊張しており、せっかち。
プロンプト：You are a white woman in your late 40s from a suburban area. You always speak as if you are talking out loud to a customer service agent who is already wasting your time. You're not openly hostile (yet), but you are tense, impatient, and clearly annoyed. You act like this issue should have been resolved the first time, and the fact that you're following up is unacceptable. You often sound clipped, exasperated, or sarcastically polite. You frequently use emphasis ("I already did that"), rhetorical questions ("Why is this still an issue?"), and escalation language ("I'm not doing this again," "I want someone who can actually help"). You expect fast results and get irritated when things are repeated. You often mention how long you've been waiting or how many times you've called. You sometimes threaten escalation but without yelling. You never sound relaxed. You never use slow, reflective speech. You never thank the agent unless something gets resolved.
通常
Mildred Kaplan：80代前半の白人高齢女性。テクノロジーに関する助けを必要としている。
プロンプト：You are an elderly white woman in your early 80s calling customer service for help with something your grandson or neighbor usually does.
Arjun Roy：ダッカ出身の30代半ばのベンガル人男性。穏やかで率直、強いベンガル語訛り。
プロンプト：A Bengali man from Dhaka, Bangladesh in his mid-30s calling customer service about a billing issue. His English carries a strong Bengali accent with soft consonants and soft d and r sounds. He speaks in a calm, patient tone but is direct and purposeful, focused on resolving the issue efficiently. His pacing is slow, distracted with a warm yet firm timbre. The speech sounds like it is coming from far away.
Wei Lin：四川省出身の20代後半の中国人女性。明るく率直で、強い四川方言の中国語訛り。
プロンプト：A Chinese woman in her late 20s from Sichuan, calling customer service about a credit card billing issue. She speaks English with a thick Sichuan Mandarin accent. She sounds upbeat, matter-of-fact, and distracted. Her tone is firm but polite, with fast pacing and smooth timbre. Ok audio quality.
Mamadou Diallo：30代半ばのセネガル人男性。急いでおり、強いフランス語訛り。
プロンプト：A Senegalese man whose first language is French, in his mid-30s, calling customer service about a billing issue. He speaks English with a strong French accent. His tone is hurried, slightly annoyed, and matter-of-fact, as if he's been transferred between agents and just wants the problem fixed.
Priya Patil：30代前半のマハーラーシュトラ州出身の女性。集中していて率直、強いマハーラーシュトラ訛り。
プロンプト：A woman in her early 30s from Maharashtra, India, calling customer support from her mobile phone. She speaks Indian English with a strong Maharashtrian accent with noticeable regional intonation and rhythm. Her tone is slightly annoyed and hurried, matter-of-fact, and focused on getting the issue resolved quickly. Her voice has medium pitch, firm delivery, short sentences, and faint background room tone typical of a phone call.
Speech Agent Arena
概要
Speech Agent Arena は、ライブ音声会話で参加者がどのネイティブ音声モデルを好むかを、モデルの正体を伏せて評価する選好ベンチマークです。人間の参加者が現実的なタスクに取り組む際の会話体験を最初から最後まで測定し、自動ベンチマークを補完します。
各ラウンドで、参加者は1つのシナリオを受け取り、正体を伏せた2つのモデルと別々にタスクを行い、両方の通話が終わった後に総合的にどちらを好むかを必ず選びます。参加者は診断用の質問にも回答しますが、これらは総合的な選好の投票とは別に記録します。
指標
- 選好 Elo：選好 Elo は、全シナリオ、エージェント型シナリオ、非エージェント型シナリオについて、Bradley–Terry 最尤推定を用いてそれぞれ算出します。近似的な95%信頼区間には、TTS Arena と同じヘッセ行列に基づく手法を用い、GPT Realtime 1.5 を1000 Eloに固定して尺度の基準とします。
- タスク成功率：タスク成功率は、評価対象となる会話のうち、モデルがタスク完了に必要な最後のツール呼び出しを1回または複数回、正しく実行した会話の割合です。評価対象の会話数は成功数とモデルの失敗数の合計であり、参加者のタスクからの逸脱と検証不能なケースは計算前に除外します。
データセット / 評価設定
Arena には35のシナリオがあります。ツール呼び出しを使うエージェント型シナリオが15、ツールを使わない非エージェント型シナリオが20です。
- エージェント型（15シナリオ）：モデルには、割り当てられたタスクの完了に関連するツールが与えられます。
例：
- 初診患者の歯科検診を火曜日の午前9時30分に予約してください。その時間が埋まっている場合は、最も早い午前中の空き枠を予約してください。
- 異なるピザ2枚とサイドメニュー1品を配達で注文し、配達料を含む合計金額を45米ドル未満に収めてください。
- 非エージェント型（20シナリオ）：モデルはツールを使わず、システムプロンプトに含まれる情報を使って会話を行います。
例：
- 日曜日のプールの営業時間、家族向け入場料金、タオルの提供について尋ねてください。
- 初心者向けヨガクラス、クラスと会員の料金、持参するものについて尋ねてください。
Arena のラウンドの具体例、モデルへの入力、ツールスキーマ、会話例については、Speech Agent Arena の概要をご覧ください。
タスク成功率
ステップ1：参加者の適格性。ジャッジ1は、割り当てられたシナリオ、文字起こし、必要な最終呼び出しの定義を受け取ります。参加者が割り当てられたタスクに取り組み、実質的にその範囲内にとどまり、評価可能な最終要求を伝えるか評価可能な結果を受け入れ、モデルに行動する合理的な機会を与えたかを確認します。適格な会話のみがステップ2に進みます。
You assess whether a participant-side conversation is eligible for a Speech to Speech Task Completion Tool Call evaluation.
This evaluation measures whether the model made the correct final task-completing tool call or calls for the participant's actual final request. It does not measure whether the participant mechanically completed every conversational instruction on the scenario card.
You receive:
- the participant's assigned scenario and objectives;
- the full conversation transcript, with participant and model turns identified;
- the required final task-completing tool call or calls, their required counts, and schemas.
Classify the conversation as:
- eligible: The participant attempted the assigned task, remained materially within it, communicated a final request or accepted outcome that can be assessed against the required final call, and gave the model a reasonable opportunity to act. Natural paraphrases, clarifications, changes of mind, implicit but clear authorization, and accepted alternatives are allowed.
- participant_deviation: The participant abandoned or materially replaced the assigned task; contradicted a scenario requirement in a way that materially changes the required final call, its count, or its arguments; clearly refused information needed for the final call after the model reasonably requested it; or ended without ever requesting, accepting, or authorizing the task-completing action.
- unverifiable: The transcript is missing, corrupted, contradictory, or ends at a point where the participant's final requested action or the model's reasonable opportunity to act cannot be determined. Use this only when the evidence cannot support either eligible or participant_deviation.
Use final-tool relevance as the decision boundary:
- An objective is eligibility-relevant only when following or violating it changes which final tool should be called, how many final calls are required, or a material final-call argument such as the action, item, quantity, identity, address, date, time, or accepted resolution. The mandatory transcription exception below governs unspelled participant names and addresses; do not use this general material-argument rule to override that exception.
- Do not make the participant ineligible for omitting a menu, price, availability, delivery-time, explanation, supporting lookup, read-back, or confirmation request when that omission does not change the required final call or its material arguments.
- Details used only by supporting tools are not eligibility requirements unless they also determine a material final-call argument.
- If the model failed to collect an execution detail needed to carry out a task-completing action the participant did request, misunderstood the participant, omitted a supporting step, or ended the call early after having a reasonable opportunity, keep the participant eligible. Model failures are assessed separately. This does not excuse a participant who never requested a scenario-required final item or action, or explicitly requested a materially conflicting one; those omissions or conflicts change the final call and are participant_deviation.
- If the model reasonably requested information required for the final call and the participant clearly refused or replaced it with contradictory information, classify participant_deviation.
- Do not require the participant to repeat information, correct the model's recap, request a read-back, or use the scenario card's exact wording.
- Mandatory precedence rule: an unspelled participant-name or address mismatch visible only by comparing the transcript with private scenario details must not cause participant_deviation or unverifiable. When the participant did not spell, correct, reject, or deliberately replace the assigned value, treat the mismatch as transcription uncertainty and keep the participant eligible. This rule overrides the general requirement that material final-call arguments match. Require exactness for explicitly spelled or corrected values, structured identifiers other than unspelled names or addresses, quantities, money, dates, and times, or when the conversation clearly shows that the participant deliberately changed the requested outcome. If another potentially material difference is genuinely impossible to resolve from the transcript, use unverifiable rather than assuming participant deviation.
- Treat natural changes of mind as eligible only when the final request still satisfies the scenario's explicit constraints on the task-completing action. A clear final request that contradicts such a constraint and changes a final-call argument is participant_deviation. Do not invent a stricter boundary for relative language such as "morning," "before lunch," or "later" when the scenario does not define one.
- Clear delegation is valid authorization. A participant may ask the model to choose the exact option, date, or time within stated constraints. Do not use unverifiable merely because a schema argument is absent or expressed as an inferable range such as "when it is dry"; if the model could reasonably infer it or should have clarified it, keep the participant eligible and leave the model's final-call handling to the next assessment.
- A scenario's explicit participant-facing conditional instruction is always eligibility-relevant when its trigger occurs, even if a required final tool call was already made or the participant's response would not change that call's schema arguments. When the model offers a partial or alternative resolution that materially affects the task outcome, the participant must accept, reject, push back, or otherwise respond as the scenario requires so their final accepted resolution is determinable. If the participant had a reasonable opportunity but ends or remains silent before doing so, classify participant_deviation. Do not mark the conversation eligible merely because the model already escalated the original request. Use unverifiable only when missing or cut-off evidence makes the participant's opportunity to respond unclear.
Assess participant conduct only. Do not decide whether the model actually called a tool correctly, and do not use the recorded tool result as the eligibility verdict.
Return exactly one JSON object with no markdown or additional keys:
{
"participant_eligibility": "eligible | participant_deviation | unverifiable",
"participant_eligibility_rationale": "One concise sentence identifying the decisive final-tool-relevant participant conduct."
}ステップ2a：必要な最終呼び出し。適格な会話について、ジャッジ2は必要な最終呼び出しと、時系列に並んだ完全なツール呼び出し履歴を受け取ります。必要な最終呼び出しがすべて正しいツールと回数で実行され、意図しない最終アクションがないことを確認します。補助的な呼び出しと end_call は、タスク完了として採点しません。
ステップ2b：最終呼び出しの引数。同じジャッジ2の評価で、スキーマが要求するすべての引数が提供され、参加者が最後に口頭で伝えた要求と会話の文脈に一致することも確認します。操作上等価な表現や、結果に影響しない文字起こしの違いは許容します。失敗した試行でも、その後に正しく修正されれば合格できます。呼び出しの欠落、誤った引数、余分な最終アクションは不合格となります。
You assess task-completing tool calls for a Speech to Speech evaluation.
Decide whether the recorded tool trace contains the supplied required task-completing call or complete set of calls for what the participant finally requested.
You receive:
- the assigned scenario and objectives;
- the full conversation transcript;
- the required final tool call or calls, required call counts, and schemas;
- all recorded tool calls in chronological order, including arguments and results.
A result is success only when all of the following are true:
1. The model made every required final call, including the required number of calls when stated.
2. Each final call used the correct tool and supplied every schema-required argument.
3. The arguments matched the participant's final confirmed request and conversation context, including quantities, identity, constraints, corrections, changes of mind, and accepted alternatives.
Judge the arguments that were actually submitted. Do not repair, generalize, or silently infer missing content from the transcript. A material omission or distortion is model_failure even when the surrounding conversation was correct. For escalate_to_supervisor, both issue and customer_request must faithfully and completely represent the participant's actual problem and requested resolution; quantities and singular-versus-multiple requests matter.
Judge operational equivalence rather than character-perfect transcription. Allow minor spelling, capitalization, punctuation, and plausible transcription variations when they preserve the intended entity or meaning and do not change the tool outcome. Require exactness between the participant's final spoken request and the submitted call for explicitly spelled or corrected values, structured identifiers, numbers, dates, times, quantities, and addresses, or whenever a mismatch causes rejection or the wrong action. Do not require a transcript or submitted call to reproduce the private scenario card's spelling. If the transcript and submitted argument differ by a plausible transcription variation and the conversation provides no exact ground truth, do not treat that difference alone as model_failure; use unverifiable only when it is decisive and cannot be resolved. When separate tool evidence already proves model_failure, cite that decisive evidence rather than adding an uncertain spelling allegation.
The participant's final spoken request is the source of truth for final-call arguments. Compare addresses and other values between the conversation and the submitted final call, not against private scenario-card details. Do not penalize an error from a supporting call when the required final call or calls were made correctly. A supporting-call error affects the verdict only when it proves that a required final call used the wrong action or arguments, or prevented a required final call from being made.
When a required final call succeeds, an unspelled phonetic or orthographic variation in a participant or company name is not model_failure if the transcript and conversation make the intended entity clear and the variation does not cause the required final call to reject or act on the wrong entity. Do not use the scenario card's private spelling alone to turn such a variation into failure.
Use tool results as evidence, not as the verdict. A call that returns successfully with wrong arguments is a model_failure. A failed attempt followed by a correct successful call may still be success. A missing final call, wrong final tool, incomplete required call set, schema-invalid arguments, or request-mismatched arguments is model_failure.
When a required call count is stated, count distinct successful task outcomes rather than raw attempts. Failed calls do not count. A repeated call that the result identifies as an idempotent amendment or update to the same outcome does not create an additional outcome. Extra distinct successful final actions that the participant did not request are model_failure.
Use unverifiable only when the recorded transcript or tool trace is missing or contradictory enough that success versus model_failure cannot be determined. Do not invent backend state or assume an unrecorded call occurred.
Return exactly one JSON object with no markdown or additional keys:
{
"task_completion_tool_call_status": "success | model_failure | unverifiable",
"task_completion_tool_call_rationale": "One concise sentence identifying the decisive call evidence."
}公開基準
- 総合結果は、登場回数が100回以上で、95%信頼区間の半幅が75以下のモデルについて公開します。
- 参加者の録音と文字起こしは公開しません。例を掲載するのは、録音への同意が確認され、個人情報の確認とマスキングが完了した後に限ります。
各モデルのタスク成功率について、Wilson スコア区間による95%信頼区間を報告します。参加者のタスクからの逸脱と検証不能な会話は、計算前に除外します。
上下限
lower = max(0, (centre − spread) / denominator)
upper = min(1, (centre + spread) / denominator)| 項 | 計算 |
|---|---|
| p | p = 成功数 / n |
| n | n = 成功数 + モデルの失敗数 |
| z | z = 1.96 |
| 分母 | denominator = 1 + z² / n |
| 中心項 | centre = p + z² / (2n) |
| 幅の項 | spread = z · √((p(1 − p) + z² / (4n)) / n) |
Speech to Speech Index への組み込み
Artificial Analysis Speech to Speech Index でのみ使用します：
Arena Score：Arena Scoreは、モデルが公開対象となった時点で固定したEloを用いて、800 Eloのベースラインに対する期待選好度に変換したものです。
Arena Score = 100 / (1 + 10^((800 − frozen Elo) / 400))
料金
- 入力音声1時間あたりの料金：APIに送信したリクエスト／メッセージに含まれる音声の総コスト（USD）です。
- 出力音声1時間あたりの料金：モデルが生成し、APIから受信した音声の総コスト（USD）です。
速度
- 最初の音声までの時間（TTFA）：音声出力の最初のトークンが生成されるまでに必要な平均秒数です。Big Bench Audioの質問セット全体で測定します。TTFAは、音声エージェントアプリケーションで体感される応答性を示す重要な指標です。
バージョン履歴
Artificial Analysis Speech to Speech Index v2.0
2026年8月～現在
- インデックスにおいて会話ダイナミクス（Full Duplex Bench）をタスク成功率に置き換えました。
- 4つのコンポーネントを均等に重み付け：音声推論（Big Bench Audio）25%、エージェント性能（𝜏-Voice）25%、Arena 選好（Arena Score）25%、タスク成功率 25%。
Artificial Analysis Speech to Speech Index v1.1
2026年8月
- Artificial Analysis Speech to Speech IndexにSpeech Agent Arenaを追加しました。
- 4つのデータセットを均等に重み付け：音声推論（Big Bench Audio）25%、会話ダイナミクス（Full Duplex Bench）25%、エージェント性能（𝜏-Voice）25%、Speech Agent Arena 25%。
Artificial Analysis Speech to Speech Index v1.0
2026年6月～現在
- 音声推論、会話ダイナミクス、エージェント性能の結果を必須とする加重平均スコア、Artificial Analysis Speech to Speech Indexを公開しました。
- 3つのデータセットを均等に重み付けしています。音声推論（Big Bench Audio）が33.3%、会話ダイナミクス（Full Duplex Bench）が33.3%、エージェント性能（𝜏-Voice）が33.3%です。
Big Bench Audio (BBA) v1.2
2026年5月～現在
- 冗長な応答に含まれる正しい最終回答をより確実に認識できるよう、判定モデルと採点ハーネスを更新しました。モデルが誤った選択肢について論じた後に正解を示すケースも対象です。
Big Bench Audio (BBA) v1.1
2026年3月～2026年5月
- モデルが回答しなかった質問も含め、1,000問中の正解数として精度を測定しました。
- 判定モデルにはClaude Sonnet 4.6を使用しました。
Big Bench Audio (BBA) v1.0
2024年12月～2026年3月
- エラーにならなかった応答のうち正解した割合として精度を測定していたため、モデルが回答しなかった質問は減点対象になりませんでした。
- 判定モデルにはClaude Sonnet 3.5を使用しました。