Metodologia de benchmarking de fala para fala

Visão geral

Nosso benchmarking atual de fala para fala avalia modelos de áudio nativo — modelos compatíveis com entrada e saída nativas de áudio — em duas dimensões de qualidade: raciocínio de fala e dinâmica conversacional.

Artificial Analysis Speech to Speech Index

O Artificial Analysis Speech to Speech Index é uma pontuação média ponderada para modelos de áudio nativo. Ele combina resultados de raciocínio de fala, dinâmica conversacional e desempenho agêntico. Os modelos precisam ter resultados válidos nos três conjuntos de dados para aparecer no índice.

A ponderação atual é igual entre os três conjuntos de dados: 33,3% para raciocínio de fala (Big Bench Audio), 33,3% para dinâmica conversacional (Full Duplex Bench) e 33,3% para desempenho agêntico (𝜏-Voice).

Raciocínio de fala

Visão geral

Nosso benchmark de raciocínio de fala avalia a capacidade dos modelos de áudio nativo de responder a perguntas baseadas em raciocínio.

Os modelos de áudio nativo recebem um arquivo de áudio como entrada e devem gerar um áudio como saída. O modelo avaliador recebe a resposta candidata, a resposta oficial e a pergunta original como contexto e é instruído a classificar a resposta candidata como correta ou incorreta.

Conjunto de dados: Big Bench Audio

O surgimento de modelos nativos de áudio para áudio oferece oportunidades empolgantes para ampliar os recursos dos agentes de voz e simplificar os fluxos de trabalho. No entanto, é fundamental avaliar se essa simplificação prejudica o desempenho dos modelos ou introduz outras contrapartidas.

Para ajudar a responder a essa questão, lançamos o Big Bench Audio, um novo conjunto de dados para avaliar o desempenho de modelos de áudio nativo.

O Big Bench Audio contém 1.000 arquivos de áudio com perguntas elaboradas para testar a inteligência dos modelos. As perguntas são baseadas em quatro categorias do conjunto de dados Big Bench Hard (250 perguntas cada) e foram geradas com 23 vozes sintéticas de modelos de texto para fala mais bem classificados no Artificial Analysis Text to Speech Arena.

Categorias de perguntas

Para avaliar as contrapartidas associadas ao uso de modelos nativos de fala para fala, testamos várias configurações diferentes no Big Bench Audio. Para saber mais sobre o Big Bench Audio, consulte o artigo ou baixe o conjunto de dados.

Dinâmica conversacional

Visão geral

Nosso benchmark de dinâmica conversacional avalia a capacidade dos modelos de áudio nativo de lidar com comportamentos conversacionais realistas — os tipos de interação que ocorrem naturalmente em conversas humanas, mas que são difíceis para modelos de fala administrarem corretamente.

Este benchmark foi implementado pela Artificial Analysis com base em um subconjunto do Full Duplex Bench v1 (Lin et al., 2025) e do Full Duplex Bench v1.5 (Lin et al., 2025), benchmarks que avaliam sistematicamente comportamentos interativos essenciais de modelos de diálogo falado full duplex.

Métricas

Do Full Duplex Bench v1:

• Tratamento de pausas: Percentual de amostras em que o modelo não interrompe durante uma pausa natural do usuário, como esperado. Avalia se o modelo reconhece que a pessoa ainda está com a palavra.
• Alternância de turnos: Percentual de amostras em que o modelo assume corretamente o turno da conversa quando apropriado. Mede a capacidade do modelo de detectar os limites de cada turno e responder prontamente.

Do Full Duplex Bench v1.5:

• Tratamento de interrupções do usuário: Percentual de amostras em que o modelo lida corretamente com a interrupção do usuário, respondendo a perguntas ou mudanças de assunto levantadas no meio da conversa.
• Tratamento de sinais de acompanhamento: Percentual de amostras em que o modelo continua corretamente sua resposta quando ouve um sinal de acompanhamento, como "yeah", "alright" ou "mm-hmm", em vez de tratá-lo como um novo turno.

Desempenho agêntico (𝜏-Voice)

Visão geral

Nosso benchmark de desempenho agêntico avalia a capacidade dos modelos de fala para fala de concluir tarefas realistas de atendimento ao cliente de ponta a ponta. Esse benchmark mede o cumprimento de instruções em múltiplos turnos, a capacidade de auxiliar um cliente simulado durante uma interação completa e o uso bem-sucedido de ferramentas em sistemas simulados de atendimento ao cliente.

Este benchmark foi implementado pela Artificial Analysis com base no 𝜏-Voice (Ray, Dhandhania, Barres & Narasimhan, 2026), um benchmark da Sierra que avalia agentes de voz full duplex em tarefas contextualizadas de atendimento ao cliente em áreas do mundo real.

Métrica

• Conclusão de tarefas (pass@1): Proporção de cenários em que o modelo resolve corretamente o problema do cliente. Cada pontuação é a média de três tentativas independentes. O modelo testado recebe instruções para atuar como agente de atendimento ao cliente, com acesso a ferramentas específicas da área e a um documento de políticas. Cada cenário tem um único estado final válido do banco de dados; a avaliação compara o estado final com essa referência correta.

Avaliamos três áreas usando o conjunto básico de tarefas:

• Companhias aéreas (50 cenários): por exemplo, alterar um voo ou fazer uma remarcação conforme as restrições da política
• Varejo (114 cenários): por exemplo, contestar uma cobrança ou processar uma devolução
• Telecomunicações (114 cenários): por exemplo, resolver um problema de cobrança ou solucionar um problema de serviço

Personas de voz

As vozes dos clientes são geradas com o ElevenLabs, com base em prompts adaptados da implementação pública do Sierra 𝜏-Voice. Usamos duas personas de controle que representam falantes do inglês padrão e cinco personas regulares que representam diferentes sotaques e perfis de falantes.

Preço

• Preço por hora de áudio de entrada: Custo total (USD) do áudio incluído na solicitação/mensagem enviada à API.
• Preço por hora de áudio de saída: Custo total (USD) do áudio gerado pelo modelo (recebido da API).

Velocidade

• Tempo até o primeiro áudio (TTFA): Número médio de segundos necessários para gerar o primeiro token da saída de áudio, medido no conjunto de perguntas do Big Bench Audio. O TTFA é um indicador fundamental da percepção de agilidade em aplicações de agentes de voz.

Histórico de versões