음성 대 음성 AI 모델 및 제공업체 리더보드

Name: AA-Speech to Speech Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

음성 대 음성 모델과 API 제공업체를 분석하고 비교합니다. Artificial Analysis는 추론 품질, 대화 역학, 생성 시간, 가격 등 다양한 특성을 기준으로 음성 대 음성 모델과 호스팅 제공업체를 분석했습니다.

자세한 내용은 방법론 페이지를 참고하세요.

텍스트 음성 변환 리더보드

음성 텍스트 변환 리더보드

Speech Agent Arena 리더보드

Speech Agent Arena 개요

AA-Speech to Speech Index

Weighted average of Speech Reasoning, Agentic Performance, Arena Preference, and Task Success Rate results · Higher is better

속도

Time to first audio (seconds) on Big Bench Audio · Lower is better

입력 오디오 시간당 비용

Cost to complete fixed 40-question Big Bench Audio subset based on length of input audio, normalized to hourly basis · Lower is better

Artificial Analysis Speech to Speech Index

Weighted average of Speech Reasoning, Agentic Performance, Arena Preference, and Task Success Rate results · Only models with all data available shown · Higher is better

Equal-weighted score across Speech Reasoning (Big Bench Audio), Agentic Performance (𝜏-Voice), Arena Preference (Arena Score), and Task Success Rate. Models must have results for all four components to receive an index score.

Preference Elo is converted into expected preference against an 800-Elo baseline: Arena Score = 100 / (1 + 10^((800 − frozen Elo) / 400)). The rating is frozen when a model first becomes eligible for publication, so it does not track the live Elo shown on the Arena charts.

음성 추론

음성 추론(Big Bench Audio)

Speech reasoning: based on the Artificial Analysis Big Bench Audio dataset · Higher is better

Big Bench Audio is an Artificial Analysis benchmark comprising 1,000 audio questions adapted from Big Bench Hard, designed to test the reasoning ability of native audio models. Questions span four categories (250 each): Formal Fallacies (determine whether an argument is deductively valid or invalid), Navigate (determine whether navigation steps return to the starting point), Object Counting (count the number of a specific item class from a list of possessions), and Web of Lies (evaluate the truth value of a Boolean function expressed as a word problem). Models receive an audio input and generate an audio output, which is evaluated as correct or incorrect.

에이전트 성능

에이전트 성능(𝜏-Voice)

Proportion of replica customer service scenarios resolved while acting as a customer support agent, based on the 𝜏-Voice benchmark · Higher is better · Only full duplex models

𝜏-Voice measures task completion in real-world replica customer service scenarios. A voice user simulator calls the tested model with a specific domain problem (e.g., requesting a flight change, disputing a retail charge, resolving a telecom issue) across domains inherited from 𝜏-bench and 𝜏²-bench. The tested model is prompted as a customer support agent with access to domain-specific tools and a policy document. Each task has a single valid database end-state; evaluation compares final state against this ground truth. Charts use average performance across 3 trials where available. For more detail on the original benchmark see the 𝜏-Voice paper.

참고: 1회 시행 기준 모델: GPT-Live-1 (Astra, medium), OpenAI, GPT-Live-1 (Sol, low), OpenAI, GPT-Realtime-2 (Minimal), OpenAI; 2회 시행 기준 모델: GPT-Realtime-2.1 High, OpenAI

도메인별 에이전트 성능(𝜏-Voice)

Proportion of replica customer service scenarios resolved by domain, based on the 𝜏-Voice benchmark · Higher is better · Only full duplex models

참고: 1회 시행 기준 모델: GPT-Live-1 (Astra, medium), OpenAI, GPT-Live-1 (Sol, low), OpenAI, GPT-Realtime-2 (Minimal), OpenAI; 2회 시행 기준 모델: GPT-Realtime-2.1 High, OpenAI

Speech Agent Arena

Arena 선호도 Elo

Preference Elo measures human participants' overall preference after they complete the same scenario with two unidentified Speech to Speech models, such as booking a dental appointment · Only includes models with tool calling · Higher is better

Pairwise preference Elo fitted with Bradley–Terry maximum likelihood, with GPT Realtime 1.5 anchored at 1000.

A Default Cascaded System is a provider’s standard voice-agent pipeline: its orchestration harness connects a speech-to-text model, an LLM, and a text-to-speech model. These entries use the provider’s default stack, rather than a custom pipeline optimized by Artificial Analysis.

Tool registration indicates whether tool definitions are pre-registered or supplied during session setup. As of July 2026:

Model	Harness	STT	LLM	TTS	Tool registration
Deepgram Voice Agent	Deepgram Voice Agent API	Nova-3	GPT-4o Mini	Aura-2	Session-level
ElevenLabs Agents	ElevenLabs Agents	Scribe v2 Realtime	Gemini 2.5 Flash	Eleven Flash v2	Pre-registered
Cartesia Line	Cartesia Line	Ink	Gemini 2.5 Flash	Sonic	Pre-registered schemas; Arena execution
Inworld Realtime	Inworld Realtime API	Inworld STT 1	Gemini 2.5 Flash	Inworld TTS 1.5 Mini	Session-level

작업 성공률

Proportion of eligible conversations with the correct final task-completing tool call or calls · Higher is better

Percentage of eligible conversations with the correct final task-completing tool call or calls.

Tool registration indicates whether tool definitions are pre-registered or supplied during session setup. As of July 2026:

Model	Harness	STT	LLM	TTS	Tool registration
Deepgram Voice Agent	Deepgram Voice Agent API	Nova-3	GPT-4o Mini	Aura-2	Session-level
ElevenLabs Agents	ElevenLabs Agents	Scribe v2 Realtime	Gemini 2.5 Flash	Eleven Flash v2	Pre-registered
Cartesia Line	Cartesia Line	Ink	Gemini 2.5 Flash	Sonic	Pre-registered schemas; Arena execution
Inworld Realtime	Inworld Realtime API	Inworld STT 1	Gemini 2.5 Flash	Inworld TTS 1.5 Mini	Session-level

대화 역학

대화 역학(Full Duplex Bench 하위 집합)

Weighted average of pause handling, turn-taking, interruption handling, and backchannel handling from Full Duplex Bench v1 and v1.5 · Higher is better

Metrics from Full Duplex Bench v1 include Pause Handling (% of samples model correctly does not interrupt) and Turn Taking (% of samples correctly takes the turn in conversation). Metrics from Full Duplex Bench v1.5 include User Interruption Handling (% of samples where the model correctly addresses user's interruption) and Backchannel Handling (% of samples where the model correctly continues when a backchannel such as "yeah" or "alright" is played).

대화 역학(Full Duplex Bench 하위 집합) - 카테고리별 세부 내역

대화 역학 점수 순으로 정렬한 카테고리별 점수 · Full Duplex Bench v1 및 v1.5 하위 집합 기준

API 벤치마크

입력 오디오 시간당 비용(Big Bench Audio 하위 집합)

Cost to complete fixed 40-question Big Bench Audio subset based on length of input audio, normalized to hourly basis · Lower is better

Cost to complete a fixed 40-question Big Bench Audio subset, normalized to an hourly basis using input audio duration. It incorporates audio input, audio output, text input, text output, and separately exposed reasoning/thinking tokens. It does not include cached-token discounts or tool-call costs.

음성 추론(Big Bench Audio) vs. 입력 오디오 시간당 비용

Big Bench Audio 점수 vs. 입력 오디오 시간당 비용(고정된 40문항 하위 집합에서 측정) · 음성 추론이 높고 비용이 낮을수록 좋음

Most attractive quadrant

최초 오디오 생성 시간

Average time to first audio (seconds) on Big Bench Audio dataset · Lower is better

Number of seconds required to generate the first token of audio output. A lower value represents a faster generation.

음성 추론(Big Bench Audio) vs. 속도

Big Bench Audio 점수 vs. 최초 오디오 생성 시간 · 음성 추론이 높고 지연 시간이 낮을수록 좋음

Most attractive quadrant

Number of seconds required to generate the first token of audio output. A lower value represents a faster generation.

주요 지표 요약 및 추가 정보


Alibaba Cloud	Qwen Audio 3.0 Realtime Plus	69.5	99%	98.4%	54.6%	775	77.8%	1.54	4.42	0.03	0.18
Alibaba Cloud	Qwen3.5 Omni Plus Realtime	-	99%	-	-	859	62.0%	2.64	0.00	0.16	0.82
Alibaba Cloud	Qwen Audio 3.0 Realtime Flash	67.7	96%	96.9%	35.9%	850	81.7%	1.55	4.77	-	-
Alibaba Cloud	Qwen3.5 Omni Flash Realtime	-	59%	-	-	841	29.1%	0.79	0.00	0.16	0.82
Alibaba Cloud	Qwen3 Omni Flash	-	59%	72.7%	-	-	-	4.82	1.77	0.61	1.36
Alibaba Cloud	Qwen3 Omni Realtime	-	57%	-	-	-	-	0.88	2.26	0.65	0.99
Amazon Bedrock	Nova 2.0 Sonic (Mar 2026)	-	88%	-	-	974	57.1%	1.14	4.89	0.27	1.08
Boson AI	Higgs Realtime	-	69%	92.8%	18.6%	-	-	1.47	-	-	-
Cofe AI	FLM-Audio	-	16%	62.0%	-	-	-	-	-	-	-
Deepslate	Deepslate Opal	-	85%	85.7%	17.5%	-	-	0.44	6.48	-	-
Google	Gemini 3.8 Live Extended Thinking (High)	82.6	98%	91.9%	68.6%	990	89.1%	1.35	3.50	-	-
Google	Gemini 3.1 Flash Live High	72.0	97%	74.3%	37.7%	1063	71.8%	2.99	1.75	0.35	1.38
Google	Gemini 3.8 Live	76.0	92%	96.1%	30.1%	1083	93.2%	1.18	0.84	-	-
Google	Gemini 2.5 Flash Native Audio Dialog Thinking	-	91%	-	-	-	-	3.87	-	0.35	1.38
Google	Gemini 3.1 Flash Live Minimal	64.2	71%	72.3%	26.2%	1096	74.6%	0.96	1.50	0.35	1.38
Google	Gemini 2.5 Flash Native Audio Dialog	-	69%	-	-	-	-	0.63	1.42	0.35	1.38
Google	Gemini 2.5 Flash Native Audio Preview (Dec 2025)	-	-	44.0%	22.8%	-	-	-	-	-	-
Google	Gemini 2.5 Flash Native Audio Preview (Sep 2025)	-	-	30.3%	-	-	-	-	-	-	-
Krafton	Raon SpeechChat	-	58%	86.2%	-	-	-	0.04	-	-	-
Kyutai	Moshi	-	4%	61.0%	-	-	-	-	-	-	-
NVIDIA	Nemotron Voicechat	-	27%	52.9%	-	-	-	-	-	-	-
NVIDIA	PersonaPlex	-	19%	91.0%	-	-	-	-	-	-	-
OpenAI	GPT-Realtime-2 (High)	73.6	97%	95.3%	39.8%	932	89.8%	1.14	4.14	1.15	4.61
OpenAI	GPT-Realtime-2.1 High	75.2	96%	95.7%	45.7%	928	91.5%	1.21	10.75	-	-
OpenAI	GPT-Realtime-2 (Medium)	-	93%	95.2%	37.4%	-	-	1.22	3.97	1.15	4.61
OpenAI	GPT-Live-1 (Astra, medium)	83.2	90%	94.9%	74.5%	1048	87.4%	1.34	5.83	-	-
OpenAI	GPT-Live-1 (Sol, low)	80.1	89%	97.3%	59.3%	1053	90.9%	1.24	4.47	-	-
OpenAI	GPT-Realtime-2.1 Minimal	70.7	87%	92.7%	38.0%	937	89.4%	0.97	11.31	-	-
OpenAI	GPT Realtime (Aug '25)	69.1	83%	93.9%	30.4%	974	89.4%	0.98	11.08	1.15	4.61
OpenAI	GPT-Realtime-1.5	70.3	81%	95.7%	38.8%	1000	85.1%	0.81	11.44	1.15	4.61
OpenAI	GPT-Realtime-2.1 Mini High	-	75%	91.7%	29.4%	-	-	4.28	3.45	-	-
OpenAI	GPT-Realtime-2 (Minimal)	63.3	72%	96.1%	30.8%	916	84.7%	1.12	3.07	1.15	4.61
OpenAI	GPT-4o mini Realtime (Dec 2024)	-	69%	-	-	-	-	1.27	5.75	0.36	1.44
OpenAI	GPT Realtime Mini (Oct '25)	56.1	64%	95.7%	15.1%	917	79.6%	0.81	3.04	0.36	1.44
OpenAI	GPT-Realtime-2.1 Mini Minimal	54.4	63%	91.8%	22.5%	840	76.7%	0.85	4.60	-	-
OpenAI	GPT-4o audio chatcompletions	-	54%	-	-	-	-	3.38	0.00	3.60	14.40
OpenAI	GPT-4o Realtime (Dec 2024)	-	-	89.8%	27.9%	-	-	1.49	2.04	1.44	5.76
SpaceXAI	Grok Voice Think Fast 2.0 High	81.3	97%	95.1%	56.5%	1011	94.6%	0.70	4.80	-	-
SpaceXAI	Grok Voice Think Fast 1.0	73.7	97%	77.8%	52.1%	908	80.7%	1.25	3.00	-	-
SpaceXAI	Grok Voice Fast 1.0	-	93%	71.6%	27.4%	-	-	0.78	3.00	3.00	3.00
StepFun	StepAudio 3 Realtime	-	100%	98.9%	-	-	-	8.83	-	-	-
StepFun	Step-Audio R1.1 (Realtime)	-	98%	-	-	-	-	1.53	0.00	0.06	1.69
VITA	Freeze-Omni	-	33%	58.7%	-	-	-	-	-	-	-

자주 묻는 질문

평가한 40개 모델 중 StepAudio 3 Realtime이(가) Big Bench Audio 데이터셋에서 99.7%의 음성 추론 점수로 선두를 달리고 있습니다. 그 뒤를 Qwen Audio 3.0 Realtime Plus(99.2%)와 Qwen3.5 Omni Plus Realtime(98.7%)가 잇고 있습니다.

평가한 34개 모델 중 StepAudio 3 Realtime이(가) Full Duplex Bench 데이터셋에서 98.9%의 대화 역학 점수로 선두를 달리고 있습니다. 그 뒤를 Qwen Audio 3.0 Realtime Plus(98.4%)와 GPT-Live-1 (Sol, low)(97.3%)가 잇고 있습니다.

추론 품질 기준 상위 음성 대 음성 모델은 1. StepAudio 3 Realtime(99.7%), 2. Qwen Audio 3.0 Realtime Plus(99.2%), 3. Qwen3.5 Omni Plus Realtime(98.7%), 4. Gemini 3.8 Live Extended Thinking (High)(97.7%) 및 5. Step-Audio R1.1 (Realtime)(97.6%)입니다. 점수는 Big Bench Audio 벤치마크를 기준으로 합니다.

대화 역학 기준 상위 음성 대 음성 모델은 1. StepAudio 3 Realtime(98.9%), 2. Qwen Audio 3.0 Realtime Plus(98.4%), 3. GPT-Live-1 (Sol, low)(97.3%), 4. Qwen Audio 3.0 Realtime Flash(96.9%) 및 5. Gemini 3.8 Live(96.1%)입니다. 점수는 Full Duplex Bench 벤치마크를 기준으로 합니다.

Raon SpeechChat의 최초 오디오 생성 시간이 0.04초로 가장 짧으며, Deepslate Opal(0.44초)와 Gemini 2.5 Flash Native Audio Dialog(0.63초)가 그 뒤를 잇습니다. 값이 낮을수록 초기 응답이 빠릅니다.

Qwen Audio 3.0 Realtime Plus이(가) 입력 오디오 시간당 US$0.0331로 가장 저렴하며, Step-Audio R1.1 (Realtime)(시간당 US$0.064)와 Qwen3.5 Omni Plus Realtime(시간당 US$0.162)가 그 뒤를 잇습니다.

Full Duplex Bench는 음성 대 음성 모델이 실제 대화 행동을 얼마나 잘 처리하는지 평가합니다. 언제 말해야 하는지, 일시 정지 중에 언제 침묵해야 하는지, 끼어들기에 어떻게 대응하는지, "네"나 "음" 같은 백채널을 어떻게 인식하는지 등을 평가합니다. Artificial Analysis는 Full Duplex Bench v1 및 v1.5의 하위 집합을 구현합니다.

음성 추론(Big Bench Audio)은 모델이 오디오로 제시된 추론 문제를 이해하고 올바르게 답할 수 있는지를 측정합니다. 대화 역학(Full Duplex Bench)은 모델이 발언권 전환, 일시 정지, 끼어들기 등 자연스러운 대화 흐름을 처리할 수 있는지를 측정합니다. 한 모델이 한쪽에서는 뛰어나지만 다른 쪽에서는 그렇지 않을 수 있습니다.

실시간 대화에는 뛰어난 대화 역학과 낮은 지연 시간이 모두 필요합니다. 대화 역학 점수 기준으로는 StepAudio 3 Realtime(98.9%), Qwen Audio 3.0 Realtime Plus(98.4%), GPT-Live-1 (Sol, low)(97.3%)가 앞서 있습니다. 최초 오디오 생성 시간 기준으로는 Raon SpeechChat(0.04초), Deepslate Opal(0.44초), Gemini 2.5 Flash Native Audio Dialog(0.63초)가 가장 빠릅니다. 최선의 선택은 사용 사례에서 자연스러운 대화 흐름과 응답 속도 중 무엇이 더 중요한지에 따라 달라집니다.

벤치마크는 새로운 모델과 제공업체가 추가될 때마다 정기적으로 업데이트됩니다. 성능 지표는 제공업체의 현재 역량과 가격 변화를 반영하기 위해 지속적으로 모니터링됩니다.

음성 대 음성 AI 모델 및 제공업체 리더보드

관련 링크

AA-Speech to Speech Index

속도

입력 오디오 시간당 비용

Artificial Analysis Speech to Speech Index

Artificial Analysis Speech to Speech Index

Artificial Analysis Speech to Speech Index

음성 추론

음성 추론(Big Bench Audio)

Speech Reasoning

에이전트 성능

에이전트 성능(𝜏-Voice)

𝜏-Voice

도메인별 에이전트 성능(𝜏-Voice)

𝜏-Voice

Speech Agent Arena

Arena 선호도 Elo

Preference Elo

Default Cascaded System

작업 성공률

Task Success Rate

Default Cascaded System

대화 역학

대화 역학(Full Duplex Bench 하위 집합)

Conversational Dynamics

대화 역학(Full Duplex Bench 하위 집합) - 카테고리별 세부 내역

Conversational Dynamics

API 벤치마크

입력 오디오 시간당 비용(Big Bench Audio 하위 집합)

Cost per Hour of Input Audio

음성 추론(Big Bench Audio) vs. 입력 오디오 시간당 비용

Cost per Hour of Input Audio

Speech Reasoning

최초 오디오 생성 시간

Time to First Audio

음성 추론(Big Bench Audio) vs. 속도

Time to First Audio

Speech Reasoning

주요 지표 요약 및 추가 정보

자주 묻는 질문

추론 품질이 가장 뛰어난 음성 대 음성 모델은 무엇인가요?

대화 역학이 가장 뛰어난 음성 대 음성 모델은 무엇인가요?

상위 음성 대 음성 모델은 무엇인가요?

대화 역학 기준 상위 음성 대 음성 모델은 무엇인가요?

가장 빠른 음성 대 음성 모델은 무엇인가요?

가장 저렴한 음성 대 음성 모델은 무엇인가요?

Full Duplex Bench(FDB)란 무엇인가요?

음성 추론과 대화 역학의 차이는 무엇인가요?

실시간 대화에 가장 적합한 음성 대 음성 모델은 무엇인가요?

음성 대 음성 벤치마크는 얼마나 자주 업데이트되나요?