音声対話AIモデル＆プロバイダーのリーダーボード

Name: AA-Speech to Speech Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

音声対話モデルとAPIプロバイダーの分析・比較です。Artificial Analysisは、推論品質、会話ダイナミクス、生成時間、料金など、さまざまな特性に基づいて音声対話モデルとホスティングプロバイダーを分析しています。

詳細は方法論ページをご覧ください。

音声合成リーダーボード

音声文字起こしリーダーボード

Speech Agent Arena ランキング

Speech Agent Arena の概要

AA-Speech to Speech Index

Weighted average of Speech Reasoning, Agentic Performance, Arena Preference, and Task Success Rate results · Higher is better

速度

Time to first audio (seconds) on Big Bench Audio · Lower is better

入力音声1時間あたりのコスト

Cost to complete fixed 40-question Big Bench Audio subset based on length of input audio, normalized to hourly basis · Lower is better

Artificial Analysis Speech to Speech Index

Weighted average of Speech Reasoning, Agentic Performance, Arena Preference, and Task Success Rate results · Only models with all data available shown · Higher is better

Equal-weighted score across Speech Reasoning (Big Bench Audio), Agentic Performance (𝜏-Voice), Arena Preference (Arena Score), and Task Success Rate. Models must have results for all four components to receive an index score.

Preference Elo is converted into expected preference against an 800-Elo baseline: Arena Score = 100 / (1 + 10^((800 − frozen Elo) / 400)). The rating is frozen when a model first becomes eligible for publication, so it does not track the live Elo shown on the Arena charts.

音声推論

音声推論（Big Bench Audio）

Speech reasoning: based on the Artificial Analysis Big Bench Audio dataset · Higher is better

Big Bench Audio is an Artificial Analysis benchmark comprising 1,000 audio questions adapted from Big Bench Hard, designed to test the reasoning ability of native audio models. Questions span four categories (250 each): Formal Fallacies (determine whether an argument is deductively valid or invalid), Navigate (determine whether navigation steps return to the starting point), Object Counting (count the number of a specific item class from a list of possessions), and Web of Lies (evaluate the truth value of a Boolean function expressed as a word problem). Models receive an audio input and generate an audio output, which is evaluated as correct or incorrect.

エージェント性能

エージェント性能（𝜏-Voice）

Proportion of replica customer service scenarios resolved while acting as a customer support agent, based on the 𝜏-Voice benchmark · Higher is better · Only full duplex models

𝜏-Voice measures task completion in real-world replica customer service scenarios. A voice user simulator calls the tested model with a specific domain problem (e.g., requesting a flight change, disputing a retail charge, resolving a telecom issue) across domains inherited from 𝜏-bench and 𝜏²-bench. The tested model is prompted as a customer support agent with access to domain-specific tools and a policy document. Each task has a single valid database end-state; evaluation compares final state against this ground truth. Charts use average performance across 3 trials where available. For more detail on the original benchmark see the 𝜏-Voice paper.

注：1回の試行に基づくモデル：GPT-Live-1 (Astra, medium), OpenAI, GPT-Live-1 (Sol, low), OpenAI, GPT-Realtime-2 (Minimal), OpenAI; 2回の試行に基づくモデル：GPT-Realtime-2.1 High, OpenAI

ドメイン別エージェント性能（𝜏-Voice）

Proportion of replica customer service scenarios resolved by domain, based on the 𝜏-Voice benchmark · Higher is better · Only full duplex models

Speech Agent Arena

Arena 選好 Elo

Preference Elo measures human participants' overall preference after they complete the same scenario with two unidentified Speech to Speech models, such as booking a dental appointment · Only includes models with tool calling · Higher is better

Pairwise preference Elo fitted with Bradley–Terry maximum likelihood, with GPT Realtime 1.5 anchored at 1000.

A Default Cascaded System is a provider’s standard voice-agent pipeline: its orchestration harness connects a speech-to-text model, an LLM, and a text-to-speech model. These entries use the provider’s default stack, rather than a custom pipeline optimized by Artificial Analysis.

Tool registration indicates whether tool definitions are pre-registered or supplied during session setup. As of July 2026:

Model	Harness	STT	LLM	TTS	Tool registration
Deepgram Voice Agent	Deepgram Voice Agent API	Nova-3	GPT-4o Mini	Aura-2	Session-level
ElevenLabs Agents	ElevenLabs Agents	Scribe v2 Realtime	Gemini 2.5 Flash	Eleven Flash v2	Pre-registered
Cartesia Line	Cartesia Line	Ink	Gemini 2.5 Flash	Sonic	Pre-registered schemas; Arena execution
Inworld Realtime	Inworld Realtime API	Inworld STT 1	Gemini 2.5 Flash	Inworld TTS 1.5 Mini	Session-level

タスク成功率

Proportion of eligible conversations with the correct final task-completing tool call or calls · Higher is better

Percentage of eligible conversations with the correct final task-completing tool call or calls.

Tool registration indicates whether tool definitions are pre-registered or supplied during session setup. As of July 2026:

Model	Harness	STT	LLM	TTS	Tool registration
Deepgram Voice Agent	Deepgram Voice Agent API	Nova-3	GPT-4o Mini	Aura-2	Session-level
ElevenLabs Agents	ElevenLabs Agents	Scribe v2 Realtime	Gemini 2.5 Flash	Eleven Flash v2	Pre-registered
Cartesia Line	Cartesia Line	Ink	Gemini 2.5 Flash	Sonic	Pre-registered schemas; Arena execution
Inworld Realtime	Inworld Realtime API	Inworld STT 1	Gemini 2.5 Flash	Inworld TTS 1.5 Mini	Session-level

会話ダイナミクス

会話ダイナミクス（Full Duplex Bench のサブセット）

Weighted average of pause handling, turn-taking, interruption handling, and backchannel handling from Full Duplex Bench v1 and v1.5 · Higher is better

Metrics from Full Duplex Bench v1 include Pause Handling (% of samples model correctly does not interrupt) and Turn Taking (% of samples correctly takes the turn in conversation). Metrics from Full Duplex Bench v1.5 include User Interruption Handling (% of samples where the model correctly addresses user's interruption) and Backchannel Handling (% of samples where the model correctly continues when a backchannel such as "yeah" or "alright" is played).

会話ダイナミクス（Full Duplex Bench のサブセット）— カテゴリ別内訳

カテゴリ別スコア（会話ダイナミクススコア順） · Full Duplex Bench v1 および v1.5 のサブセットに基づく

APIベンチマーク

入力音声1時間あたりのコスト（Big Bench Audio のサブセット）

Cost to complete fixed 40-question Big Bench Audio subset based on length of input audio, normalized to hourly basis · Lower is better

Cost to complete a fixed 40-question Big Bench Audio subset, normalized to an hourly basis using input audio duration. It incorporates audio input, audio output, text input, text output, and separately exposed reasoning/thinking tokens. It does not include cached-token discounts or tool-call costs.

音声推論（Big Bench Audio）vs. 入力音声1時間あたりのコスト

Big Bench Audio スコア vs. 入力音声1時間あたりのコスト（固定の40問サブセットで測定） · 音声推論が高く、コストが低いほど良い

Most attractive quadrant

最初の音声までの時間

Average time to first audio (seconds) on Big Bench Audio dataset · Lower is better

Number of seconds required to generate the first token of audio output. A lower value represents a faster generation.

音声推論（Big Bench Audio）vs. 速度

Big Bench Audio スコア vs. 最初の音声までの時間 · 音声推論が高く、遅延が低いほど良い

Most attractive quadrant

Number of seconds required to generate the first token of audio output. A lower value represents a faster generation.

主要指標の概要と詳細情報


Alibaba Cloud	Qwen Audio 3.0 Realtime Plus	69.5	99%	98.4%	54.6%	775	77.8%	1.54	4.42	0.03	0.18
Alibaba Cloud	Qwen3.5 Omni Plus Realtime	-	99%	-	-	859	62.0%	2.64	0.00	0.16	0.82
Alibaba Cloud	Qwen Audio 3.0 Realtime Flash	67.7	96%	96.9%	35.9%	850	81.7%	1.55	4.77	-	-
Alibaba Cloud	Qwen3.5 Omni Flash Realtime	-	59%	-	-	841	29.1%	0.79	0.00	0.16	0.82
Alibaba Cloud	Qwen3 Omni Flash	-	59%	72.7%	-	-	-	4.82	1.77	0.61	1.36
Alibaba Cloud	Qwen3 Omni Realtime	-	57%	-	-	-	-	0.88	2.26	0.65	0.99
Amazon Bedrock	Nova 2.0 Sonic (Mar 2026)	-	88%	-	-	974	57.1%	1.14	4.89	0.27	1.08
Boson AI	Higgs Realtime	-	69%	92.8%	18.6%	-	-	1.47	-	-	-
Cofe AI	FLM-Audio	-	16%	62.0%	-	-	-	-	-	-	-
Deepslate	Deepslate Opal	-	85%	85.7%	17.5%	-	-	0.44	6.48	-	-
Google	Gemini 3.8 Live Extended Thinking (High)	82.6	98%	91.9%	68.6%	990	89.1%	1.35	3.50	-	-
Google	Gemini 3.1 Flash Live High	72.0	97%	74.3%	37.7%	1063	71.8%	2.99	1.75	0.35	1.38
Google	Gemini 3.8 Live	76.0	92%	96.1%	30.1%	1083	93.2%	1.18	0.84	-	-
Google	Gemini 2.5 Flash Native Audio Dialog Thinking	-	91%	-	-	-	-	3.87	-	0.35	1.38
Google	Gemini 3.1 Flash Live Minimal	64.2	71%	72.3%	26.2%	1096	74.6%	0.96	1.50	0.35	1.38
Google	Gemini 2.5 Flash Native Audio Dialog	-	69%	-	-	-	-	0.63	1.42	0.35	1.38
Google	Gemini 2.5 Flash Native Audio Preview (Dec 2025)	-	-	44.0%	22.8%	-	-	-	-	-	-
Google	Gemini 2.5 Flash Native Audio Preview (Sep 2025)	-	-	30.3%	-	-	-	-	-	-	-
Krafton	Raon SpeechChat	-	58%	86.2%	-	-	-	0.04	-	-	-
Kyutai	Moshi	-	4%	61.0%	-	-	-	-	-	-	-
NVIDIA	Nemotron Voicechat	-	27%	52.9%	-	-	-	-	-	-	-
NVIDIA	PersonaPlex	-	19%	91.0%	-	-	-	-	-	-	-
OpenAI	GPT-Realtime-2 (High)	73.6	97%	95.3%	39.8%	932	89.8%	1.14	4.14	1.15	4.61
OpenAI	GPT-Realtime-2.1 High	75.2	96%	95.7%	45.7%	928	91.5%	1.21	10.75	-	-
OpenAI	GPT-Realtime-2 (Medium)	-	93%	95.2%	37.4%	-	-	1.22	3.97	1.15	4.61
OpenAI	GPT-Live-1 (Astra, medium)	83.2	90%	94.9%	74.5%	1048	87.4%	1.34	5.83	-	-
OpenAI	GPT-Live-1 (Sol, low)	80.1	89%	97.3%	59.3%	1053	90.9%	1.24	4.47	-	-
OpenAI	GPT-Realtime-2.1 Minimal	70.7	87%	92.7%	38.0%	937	89.4%	0.97	11.31	-	-
OpenAI	GPT Realtime (Aug '25)	69.1	83%	93.9%	30.4%	974	89.4%	0.98	11.08	1.15	4.61
OpenAI	GPT-Realtime-1.5	70.3	81%	95.7%	38.8%	1000	85.1%	0.81	11.44	1.15	4.61
OpenAI	GPT-Realtime-2.1 Mini High	-	75%	91.7%	29.4%	-	-	4.28	3.45	-	-
OpenAI	GPT-Realtime-2 (Minimal)	63.3	72%	96.1%	30.8%	916	84.7%	1.12	3.07	1.15	4.61
OpenAI	GPT-4o mini Realtime (Dec 2024)	-	69%	-	-	-	-	1.27	5.75	0.36	1.44
OpenAI	GPT Realtime Mini (Oct '25)	56.1	64%	95.7%	15.1%	917	79.6%	0.81	3.04	0.36	1.44
OpenAI	GPT-Realtime-2.1 Mini Minimal	54.4	63%	91.8%	22.5%	840	76.7%	0.85	4.60	-	-
OpenAI	GPT-4o audio chatcompletions	-	54%	-	-	-	-	3.38	0.00	3.60	14.40
OpenAI	GPT-4o Realtime (Dec 2024)	-	-	89.8%	27.9%	-	-	1.49	2.04	1.44	5.76
SpaceXAI	Grok Voice Think Fast 2.0 High	81.3	97%	95.1%	56.5%	1011	94.6%	0.70	4.80	-	-
SpaceXAI	Grok Voice Think Fast 1.0	73.7	97%	77.8%	52.1%	908	80.7%	1.25	3.00	-	-
SpaceXAI	Grok Voice Fast 1.0	-	93%	71.6%	27.4%	-	-	0.78	3.00	3.00	3.00
StepFun	StepAudio 3 Realtime	-	100%	98.9%	-	-	-	8.83	-	-	-
StepFun	Step-Audio R1.1 (Realtime)	-	98%	-	-	-	-	1.53	0.00	0.06	1.69
VITA	Freeze-Omni	-	33%	58.7%	-	-	-	-	-	-	-

よくある質問

評価した40件のモデルのうち、StepAudio 3 Realtime が Big Bench Audio データセットで 99.7% の音声推論スコアを獲得し、首位に立っています。Qwen Audio 3.0 Realtime Plus が 99.2%、Qwen3.5 Omni Plus Realtime が 98.7% で続きます。

評価した34件のモデルのうち、StepAudio 3 Realtime が Full Duplex Bench データセットで 98.9% の会話ダイナミクススコアを獲得し、首位に立っています。Qwen Audio 3.0 Realtime Plus が 98.4%、GPT-Live-1 (Sol, low) が 97.3% で続きます。

推論品質で見た上位の音声対話モデルは、1. StepAudio 3 Realtime（99.7%）、2. Qwen Audio 3.0 Realtime Plus（99.2%）、3. Qwen3.5 Omni Plus Realtime（98.7%）、4. Gemini 3.8 Live Extended Thinking (High)（97.7%）、5. Step-Audio R1.1 (Realtime)（97.6%）です。スコアは Big Bench Audio ベンチマークに基づいています。

会話ダイナミクスで見た上位の音声対話モデルは、1. StepAudio 3 Realtime（98.9%）、2. Qwen Audio 3.0 Realtime Plus（98.4%）、3. GPT-Live-1 (Sol, low)（97.3%）、4. Qwen Audio 3.0 Realtime Flash（96.9%）、5. Gemini 3.8 Live（96.1%）です。スコアは Full Duplex Bench ベンチマークに基づいています。

Raon SpeechChat の最初の音声までの時間が 0.04s で最も短く、Deepslate Opal（0.44s）と Gemini 2.5 Flash Native Audio Dialog（0.63s）が続きます。値が小さいほど最初の応答が速いことを示します。

Qwen Audio 3.0 Realtime Plus が入力音声1時間あたり $0.0331 で最も手頃で、Step-Audio R1.1 (Realtime)（1時間あたり $0.064）と Qwen3.5 Omni Plus Realtime（1時間あたり $0.162）が続きます。

Full Duplex Bench は、音声対話モデルが実際の会話における振る舞いにどれだけうまく対応できるかを評価します。いつ話すべきか、ポーズの間にいつ黙るべきか、割り込みにどう応じるか、「うん」や「ええ」などのあいづちをどう認識するかといった点です。Artificial Analysis は Full Duplex Bench v1 および v1.5 のサブセットを実装しています。

音声推論（Big Bench Audio）は、音声で出題された推論問題をモデルが理解し、正しく答えられるかを測定します。会話ダイナミクス（Full Duplex Bench）は、話者交替、ポーズ、割り込みといった自然な会話の流れにモデルが対応できるかを測定します。一方に優れていても、もう一方は苦手というモデルもあります。

リアルタイムの会話には、優れた会話ダイナミクスと低い遅延の両方が求められます。会話ダイナミクススコアでは、StepAudio 3 Realtime（98.9%）、Qwen Audio 3.0 Realtime Plus（98.4%）、GPT-Live-1 (Sol, low)（97.3%）がリードしています。最初の音声までの時間では、Raon SpeechChat（0.04s）、Deepslate Opal（0.44s）、Gemini 2.5 Flash Native Audio Dialog（0.63s）が最も高速です。最適な選択は、ユースケースにとって自然な会話の流れと応答速度のどちらがより重要かによって異なります。

ベンチマークは、新しいモデルやプロバイダーの追加に合わせて定期的に更新されます。パフォーマンス指標は継続的に監視され、プロバイダーの現在の性能や料金の変化を反映しています。

音声対話AIモデル＆プロバイダーのリーダーボード

関連リンク

AA-Speech to Speech Index

速度

入力音声1時間あたりのコスト

Artificial Analysis Speech to Speech Index

Artificial Analysis Speech to Speech Index

Artificial Analysis Speech to Speech Index

音声推論

音声推論（Big Bench Audio）

Speech Reasoning

エージェント性能

エージェント性能（𝜏-Voice）

𝜏-Voice

ドメイン別エージェント性能（𝜏-Voice）

𝜏-Voice

Speech Agent Arena

Arena 選好 Elo

Preference Elo

Default Cascaded System

タスク成功率

Task Success Rate

Default Cascaded System

会話ダイナミクス

会話ダイナミクス（Full Duplex Bench のサブセット）

Conversational Dynamics

会話ダイナミクス（Full Duplex Bench のサブセット）— カテゴリ別内訳

Conversational Dynamics

APIベンチマーク

入力音声1時間あたりのコスト（Big Bench Audio のサブセット）

Cost per Hour of Input Audio

音声推論（Big Bench Audio）vs. 入力音声1時間あたりのコスト

Cost per Hour of Input Audio

Speech Reasoning

最初の音声までの時間

Time to First Audio

音声推論（Big Bench Audio）vs. 速度

Time to First Audio

Speech Reasoning

主要指標の概要と詳細情報

よくある質問

推論品質が最も高い音声対話モデルはどれですか？

会話ダイナミクスが最も優れた音声対話モデルはどれですか？

上位の音声対話モデルはどれですか？

会話ダイナミクスで見た上位の音声対話モデルはどれですか？

最も高速な音声対話モデルはどれですか？

最も安価な音声対話モデルはどれですか？

Full Duplex Bench（FDB）とは何ですか？

音声推論と会話ダイナミクスの違いは何ですか？

リアルタイムの会話に最適な音声対話モデルはどれですか？

音声対話ベンチマークはどのくらいの頻度で更新されますか？