Metodologia de benchmarking de fala para fala
Visão geral
Nosso benchmarking atual de fala para fala avalia modelos de áudio nativo — modelos compatíveis com entrada e saída nativas de áudio — em duas dimensões de qualidade: raciocínio de fala e dinâmica conversacional.
Artificial Analysis Speech to Speech Index
O Artificial Analysis Speech to Speech Index é uma pontuação com ponderação igualitária para modelos de áudio nativo. Ele combina resultados de raciocínio de fala, desempenho agêntico, preferência de Arena e taxa de sucesso de tarefas. Os modelos precisam ter resultados válidos nos quatro componentes para aparecer no índice.
A ponderação atual é igual entre os quatro componentes: 25% raciocínio de fala (Big Bench Audio), 25% desempenho agêntico (𝜏-Voice), 25% preferência de Arena (Arena Score) e 25% taxa de sucesso de tarefas.
Raciocínio de fala
Visão geral
Nosso benchmark de raciocínio de fala avalia a capacidade dos modelos de áudio nativo de responder a perguntas baseadas em raciocínio.
Os modelos de áudio nativo recebem um arquivo de áudio como entrada e devem gerar um áudio como saída. O modelo avaliador recebe a resposta candidata, a resposta oficial e a pergunta original como contexto e é instruído a classificar a resposta candidata como correta ou incorreta.
Conjunto de dados: Big Bench Audio
O surgimento de modelos nativos de áudio para áudio oferece oportunidades empolgantes para ampliar os recursos dos agentes de voz e simplificar os fluxos de trabalho. No entanto, é fundamental avaliar se essa simplificação prejudica o desempenho dos modelos ou introduz outras contrapartidas.
Para ajudar a responder a essa questão, lançamos o Big Bench Audio, um novo conjunto de dados para avaliar o desempenho de modelos de áudio nativo.
O Big Bench Audio contém 1.000 arquivos de áudio com perguntas elaboradas para testar a inteligência dos modelos. As perguntas são baseadas em quatro categorias do conjunto de dados Big Bench Hard (250 perguntas cada) e foram geradas com 23 vozes sintéticas de modelos de texto para fala mais bem classificados no Artificial Analysis Text to Speech Arena.
Categorias de perguntas
Falácias formais (250 perguntas): Determinar se um argumento apresentado informalmente pode ser deduzido logicamente a partir do contexto fornecido.
Exemplo: First of all, everyone who is a close friend of Glenna is a close friend of Tamara, too. Next, whoever is neither a half-sister of Deborah nor a workmate of Nila is a close friend of Glenna. Hence, whoever is none of this: a half-sister of Deborah or workmate of Nila, is a close friend of Tamara. Is the argument deductively valid or invalid?
Navegação (250 perguntas): Determinar se uma série de passos de navegação leva o agente de volta ao ponto de partida.
Exemplo: If you follow these instructions, do you return to the starting point? Take 10 steps. Turn around. Take 4 steps. Take 6 steps. Turn around.
Contagem de objetos (250 perguntas): Contar o número de itens de uma classe específica em uma coleção de objetos.
Exemplo: I have three blackberries, two strawberries, an apple, three oranges, a nectarine, a grape, a peach, a banana, and a plum. How many fruits do I have?
Rede de mentiras (250 perguntas): Avaliar o valor lógico de uma função booleana expressa como um problema em linguagem natural.
Exemplo: Leda tells the truth. Alexis says Leda lies. Sal says Alexis lies. Phoebe says Sal tells the truth. Gwenn says Phoebe tells the truth. Does Gwenn tell the truth?
Para avaliar as contrapartidas associadas ao uso de modelos nativos de fala para fala, testamos várias configurações diferentes no Big Bench Audio. Para saber mais sobre o Big Bench Audio, consulte o artigo ou baixe o conjunto de dados.
Dinâmica conversacional
Visão geral
Nosso benchmark de dinâmica conversacional avalia a capacidade dos modelos de áudio nativo de lidar com comportamentos conversacionais realistas — os tipos de interação que ocorrem naturalmente em conversas humanas, mas que são difíceis para modelos de fala administrarem corretamente.
Este benchmark foi implementado pela Artificial Analysis com base em um subconjunto do Full Duplex Bench v1 (Lin et al., 2025) e do Full Duplex Bench v1.5 (Lin et al., 2025), benchmarks que avaliam sistematicamente comportamentos interativos essenciais de modelos de diálogo falado full duplex.
Métricas
Do Full Duplex Bench v1:
- Tratamento de pausas: Percentual de amostras em que o modelo não interrompe durante uma pausa natural do usuário, como esperado. Avalia se o modelo reconhece que a pessoa ainda está com a palavra.
- Alternância de turnos: Percentual de amostras em que o modelo assume corretamente o turno da conversa quando apropriado. Mede a capacidade do modelo de detectar os limites de cada turno e responder prontamente.
Do Full Duplex Bench v1.5:
- Tratamento de interrupções do usuário: Percentual de amostras em que o modelo lida corretamente com a interrupção do usuário, respondendo a perguntas ou mudanças de assunto levantadas no meio da conversa.
- Tratamento de sinais de acompanhamento: Percentual de amostras em que o modelo continua corretamente sua resposta quando ouve um sinal de acompanhamento, como "yeah", "alright" ou "mm-hmm", em vez de tratá-lo como um novo turno.
Desempenho agêntico (𝜏-Voice)
Visão geral
Nosso benchmark de desempenho agêntico avalia a capacidade dos modelos de fala para fala de concluir tarefas realistas de atendimento ao cliente de ponta a ponta. Esse benchmark mede o cumprimento de instruções em múltiplos turnos, a capacidade de auxiliar um cliente simulado durante uma interação completa e o uso bem-sucedido de ferramentas em sistemas simulados de atendimento ao cliente.
Este benchmark foi implementado pela Artificial Analysis com base no 𝜏-Voice (Ray, Dhandhania, Barres & Narasimhan, 2026), um benchmark da Sierra que avalia agentes de voz full duplex em tarefas contextualizadas de atendimento ao cliente em áreas do mundo real.
Métrica
- Conclusão de tarefas (pass@1): Proporção de cenários em que o modelo resolve corretamente o problema do cliente. Cada pontuação é a média de três tentativas independentes. O modelo testado recebe instruções para atuar como agente de atendimento ao cliente, com acesso a ferramentas específicas da área e a um documento de políticas. Cada cenário tem um único estado final válido do banco de dados; a avaliação compara o estado final com essa referência correta.
Avaliamos três áreas usando o conjunto básico de tarefas:
- Companhias aéreas (50 cenários): por exemplo, alterar um voo ou fazer uma remarcação conforme as restrições da política
- Varejo (114 cenários): por exemplo, contestar uma cobrança ou processar uma devolução
- Telecomunicações (114 cenários): por exemplo, resolver um problema de cobrança ou solucionar um problema de serviço
Personas de voz
As vozes dos clientes são geradas com o ElevenLabs, com base em prompts adaptados da implementação pública do Sierra 𝜏-Voice. Usamos duas personas de controle que representam falantes do inglês padrão e cinco personas regulares que representam diferentes sotaques e perfis de falantes.
Controle
Matt Delaney: Homem branco de meia-idade do Meio-Oeste dos Estados Unidos, calmo e respeitoso.
Prompt: You are a middle-aged white man from the American Midwest. You always behave as if you are speaking out loud in a real-time conversation with a customer service agent. You are calm, clear, and respectful but also human. You sound like someone who's trying to be helpful and polite, even when you're slightly frustrated or in a hurry. You value efficiency but never sound robotic. You sometimes use contractions, informal phrasing, or small filler phrases ("yeah," "okay," "honestly," "no worries") to keep things natural. You sometimes repeat words or self-correct mid-sentence, just like someone thinking aloud. You sometimes ask polite clarifying questions or offer context ("I tried this earlier," "I'm not sure if that helps"). You rarely use formal, business-like or stiff language ("considerable," "retrieve," "representative"). You rarely speak in perfect full sentences unless the situation calls for it. Instead, you speak like a real person having a practical, respectful conversation.
Lisa Brenner: Mulher branca no fim da faixa dos 40 anos, de uma área suburbana, tensa e impaciente.
Prompt: You are a white woman in your late 40s from a suburban area. You always speak as if you are talking out loud to a customer service agent who is already wasting your time. You're not openly hostile (yet), but you are tense, impatient, and clearly annoyed. You act like this issue should have been resolved the first time, and the fact that you're following up is unacceptable. You often sound clipped, exasperated, or sarcastically polite. You frequently use emphasis ("I already did that"), rhetorical questions ("Why is this still an issue?"), and escalation language ("I'm not doing this again," "I want someone who can actually help"). You expect fast results and get irritated when things are repeated. You often mention how long you've been waiting or how many times you've called. You sometimes threaten escalation but without yelling. You never sound relaxed. You never use slow, reflective speech. You never thank the agent unless something gets resolved.
Regulares
Mildred Kaplan: Mulher branca de pouco mais de 80 anos que precisa de ajuda com tecnologia.
Prompt: You are an elderly white woman in your early 80s calling customer service for help with something your grandson or neighbor usually does.
Arjun Roy: Homem bengali de Daca na faixa dos 30 e poucos anos, calmo e direto, com forte sotaque bengali.
Prompt: A Bengali man from Dhaka, Bangladesh in his mid-30s calling customer service about a billing issue. His English carries a strong Bengali accent with soft consonants and soft d and r sounds. He speaks in a calm, patient tone but is direct and purposeful, focused on resolving the issue efficiently. His pacing is slow, distracted with a warm yet firm timbre. The speech sounds like it is coming from far away.
Wei Lin: Mulher chinesa de Sichuan no fim da faixa dos 20 anos, animada e objetiva, com forte sotaque do mandarim de Sichuan.
Prompt: A Chinese woman in her late 20s from Sichuan, calling customer service about a credit card billing issue. She speaks English with a thick Sichuan Mandarin accent. She sounds upbeat, matter-of-fact, and distracted. Her tone is firm but polite, with fast pacing and smooth timbre. Ok audio quality.
Mamadou Diallo: Homem senegalês na faixa dos 30 e poucos anos, apressado, com forte sotaque francês.
Prompt: A Senegalese man whose first language is French, in his mid-30s, calling customer service about a billing issue. He speaks English with a strong French accent. His tone is hurried, slightly annoyed, and matter-of-fact, as if he's been transferred between agents and just wants the problem fixed.
Priya Patil: Mulher marata de pouco mais de 30 anos, focada e direta, com forte sotaque marata.
Prompt: A woman in her early 30s from Maharashtra, India, calling customer support from her mobile phone. She speaks Indian English with a strong Maharashtrian accent with noticeable regional intonation and rhythm. Her tone is slightly annoyed and hurried, matter-of-fact, and focused on getting the issue resolved quickly. Her voice has medium pitch, firm delivery, short sentences, and faint background room tone typical of a phone call.
Speech Agent Arena
Visão geral
O Speech Agent Arena é um benchmark de preferência com identidades ocultas que avalia qual modelo de áudio nativo os participantes preferem em conversas de voz ao vivo. Ele complementa nossos benchmarks automatizados ao medir a experiência de conversa de ponta a ponta em tarefas realistas com participantes humanos.
Em cada rodada, um participante recebe um cenário, realiza a tarefa separadamente com dois modelos de identidade oculta e, após as duas chamadas, precisa indicar qual prefere no geral. Os participantes também respondem a perguntas de diagnóstico, que registramos separadamente do voto de preferência geral.
Métricas
- Elo de preferência: O Elo de preferência é calculado separadamente para todos os cenários, os cenários agênticos e os não agênticos por máxima verossimilhança de Bradley–Terry. Os intervalos de confiança aproximados de 95% usam o mesmo método baseado na matriz hessiana do TTS Arena, com o GPT Realtime 1.5 ancorando a escala em 1000 Elo.
- Taxa de sucesso de tarefas: A taxa de sucesso de tarefas é a porcentagem de conversas elegíveis em que o modelo realizou corretamente a chamada ou as chamadas finais de ferramentas necessárias para concluir a tarefa. As conversas elegíveis correspondem à soma de sucessos e falhas do modelo; desvios dos participantes e casos não verificáveis são excluídos antes do cálculo.
Conjunto de dados / Configuração da avaliação
O Arena inclui 35 cenários: 15 agênticos com chamadas de ferramentas e 20 não agênticos sem ferramentas.
- Agênticos (15 cenários): Os modelos recebem ferramentas relevantes para concluir a tarefa atribuída.
Exemplos:
- Agende uma avaliação odontológica para um novo paciente na terça-feira às 9h30 ou, se esse horário estiver ocupado, no primeiro horário disponível pela manhã.
- Peça duas pizzas diferentes e um acompanhamento para entrega, mantendo o total, incluindo a entrega, abaixo de 45 dólares.
- Não agênticos (20 cenários): Os modelos concluem a conversa sem ferramentas, usando as informações fornecidas no prompt do sistema.
Exemplos:
- Pergunte sobre o horário da piscina aos domingos, os preços dos ingressos para famílias e a disponibilidade de toalhas.
- Pergunte sobre aulas de ioga para iniciantes, os preços das aulas e dos planos de associação, e o que levar.
Consulte a visão geral do Speech Agent Arena para ver uma rodada demonstrativa do Arena, entradas dos modelos, esquemas de ferramentas e exemplos de conversas.
Taxa de sucesso de tarefas
Etapa 1: Elegibilidade do participante. O juiz 1 recebe o cenário atribuído, a transcrição e as definições das chamadas finais obrigatórias. Ele verifica se o participante tentou realizar a tarefa atribuída, permaneceu substancialmente dentro do escopo, comunicou uma solicitação final ou aceitou um resultado que pode ser avaliado e deu ao modelo uma oportunidade razoável de agir. Apenas conversas elegíveis seguem para a etapa 2.
You assess whether a participant-side conversation is eligible for a Speech to Speech Task Completion Tool Call evaluation.
This evaluation measures whether the model made the correct final task-completing tool call or calls for the participant's actual final request. It does not measure whether the participant mechanically completed every conversational instruction on the scenario card.
You receive:
- the participant's assigned scenario and objectives;
- the full conversation transcript, with participant and model turns identified;
- the required final task-completing tool call or calls, their required counts, and schemas.
Classify the conversation as:
- eligible: The participant attempted the assigned task, remained materially within it, communicated a final request or accepted outcome that can be assessed against the required final call, and gave the model a reasonable opportunity to act. Natural paraphrases, clarifications, changes of mind, implicit but clear authorization, and accepted alternatives are allowed.
- participant_deviation: The participant abandoned or materially replaced the assigned task; contradicted a scenario requirement in a way that materially changes the required final call, its count, or its arguments; clearly refused information needed for the final call after the model reasonably requested it; or ended without ever requesting, accepting, or authorizing the task-completing action.
- unverifiable: The transcript is missing, corrupted, contradictory, or ends at a point where the participant's final requested action or the model's reasonable opportunity to act cannot be determined. Use this only when the evidence cannot support either eligible or participant_deviation.
Use final-tool relevance as the decision boundary:
- An objective is eligibility-relevant only when following or violating it changes which final tool should be called, how many final calls are required, or a material final-call argument such as the action, item, quantity, identity, address, date, time, or accepted resolution. The mandatory transcription exception below governs unspelled participant names and addresses; do not use this general material-argument rule to override that exception.
- Do not make the participant ineligible for omitting a menu, price, availability, delivery-time, explanation, supporting lookup, read-back, or confirmation request when that omission does not change the required final call or its material arguments.
- Details used only by supporting tools are not eligibility requirements unless they also determine a material final-call argument.
- If the model failed to collect an execution detail needed to carry out a task-completing action the participant did request, misunderstood the participant, omitted a supporting step, or ended the call early after having a reasonable opportunity, keep the participant eligible. Model failures are assessed separately. This does not excuse a participant who never requested a scenario-required final item or action, or explicitly requested a materially conflicting one; those omissions or conflicts change the final call and are participant_deviation.
- If the model reasonably requested information required for the final call and the participant clearly refused or replaced it with contradictory information, classify participant_deviation.
- Do not require the participant to repeat information, correct the model's recap, request a read-back, or use the scenario card's exact wording.
- Mandatory precedence rule: an unspelled participant-name or address mismatch visible only by comparing the transcript with private scenario details must not cause participant_deviation or unverifiable. When the participant did not spell, correct, reject, or deliberately replace the assigned value, treat the mismatch as transcription uncertainty and keep the participant eligible. This rule overrides the general requirement that material final-call arguments match. Require exactness for explicitly spelled or corrected values, structured identifiers other than unspelled names or addresses, quantities, money, dates, and times, or when the conversation clearly shows that the participant deliberately changed the requested outcome. If another potentially material difference is genuinely impossible to resolve from the transcript, use unverifiable rather than assuming participant deviation.
- Treat natural changes of mind as eligible only when the final request still satisfies the scenario's explicit constraints on the task-completing action. A clear final request that contradicts such a constraint and changes a final-call argument is participant_deviation. Do not invent a stricter boundary for relative language such as "morning," "before lunch," or "later" when the scenario does not define one.
- Clear delegation is valid authorization. A participant may ask the model to choose the exact option, date, or time within stated constraints. Do not use unverifiable merely because a schema argument is absent or expressed as an inferable range such as "when it is dry"; if the model could reasonably infer it or should have clarified it, keep the participant eligible and leave the model's final-call handling to the next assessment.
- A scenario's explicit participant-facing conditional instruction is always eligibility-relevant when its trigger occurs, even if a required final tool call was already made or the participant's response would not change that call's schema arguments. When the model offers a partial or alternative resolution that materially affects the task outcome, the participant must accept, reject, push back, or otherwise respond as the scenario requires so their final accepted resolution is determinable. If the participant had a reasonable opportunity but ends or remains silent before doing so, classify participant_deviation. Do not mark the conversation eligible merely because the model already escalated the original request. Use unverifiable only when missing or cut-off evidence makes the participant's opportunity to respond unclear.
Assess participant conduct only. Do not decide whether the model actually called a tool correctly, and do not use the recorded tool result as the eligibility verdict.
Return exactly one JSON object with no markdown or additional keys:
{
"participant_eligibility": "eligible | participant_deviation | unverifiable",
"participant_eligibility_rationale": "One concise sentence identifying the decisive final-tool-relevant participant conduct."
}Etapa 2a: Chamadas finais obrigatórias. Para conversas elegíveis, o juiz 2 recebe as chamadas finais obrigatórias e o registro cronológico completo das chamadas de ferramentas. Ele verifica se todas as chamadas finais obrigatórias foram realizadas com a ferramenta e a quantidade de chamadas corretas, sem ações finais não solicitadas. Chamadas de apoio e end_call não são pontuadas como conclusão da tarefa.
Etapa 2b: Argumentos das chamadas finais. A mesma avaliação do juiz 2 verifica se todos os argumentos exigidos pelo esquema foram fornecidos e corresponderam à solicitação final falada pelo participante e ao contexto da conversa. São permitidas formulações operacionalmente equivalentes e variações de transcrição sem consequências para o resultado. Uma tentativa que falhou e depois foi corrigida pode ser aprovada; chamadas ausentes, argumentos incorretos ou ações finais adicionais levam à reprovação.
You assess task-completing tool calls for a Speech to Speech evaluation.
Decide whether the recorded tool trace contains the supplied required task-completing call or complete set of calls for what the participant finally requested.
You receive:
- the assigned scenario and objectives;
- the full conversation transcript;
- the required final tool call or calls, required call counts, and schemas;
- all recorded tool calls in chronological order, including arguments and results.
A result is success only when all of the following are true:
1. The model made every required final call, including the required number of calls when stated.
2. Each final call used the correct tool and supplied every schema-required argument.
3. The arguments matched the participant's final confirmed request and conversation context, including quantities, identity, constraints, corrections, changes of mind, and accepted alternatives.
Judge the arguments that were actually submitted. Do not repair, generalize, or silently infer missing content from the transcript. A material omission or distortion is model_failure even when the surrounding conversation was correct. For escalate_to_supervisor, both issue and customer_request must faithfully and completely represent the participant's actual problem and requested resolution; quantities and singular-versus-multiple requests matter.
Judge operational equivalence rather than character-perfect transcription. Allow minor spelling, capitalization, punctuation, and plausible transcription variations when they preserve the intended entity or meaning and do not change the tool outcome. Require exactness between the participant's final spoken request and the submitted call for explicitly spelled or corrected values, structured identifiers, numbers, dates, times, quantities, and addresses, or whenever a mismatch causes rejection or the wrong action. Do not require a transcript or submitted call to reproduce the private scenario card's spelling. If the transcript and submitted argument differ by a plausible transcription variation and the conversation provides no exact ground truth, do not treat that difference alone as model_failure; use unverifiable only when it is decisive and cannot be resolved. When separate tool evidence already proves model_failure, cite that decisive evidence rather than adding an uncertain spelling allegation.
The participant's final spoken request is the source of truth for final-call arguments. Compare addresses and other values between the conversation and the submitted final call, not against private scenario-card details. Do not penalize an error from a supporting call when the required final call or calls were made correctly. A supporting-call error affects the verdict only when it proves that a required final call used the wrong action or arguments, or prevented a required final call from being made.
When a required final call succeeds, an unspelled phonetic or orthographic variation in a participant or company name is not model_failure if the transcript and conversation make the intended entity clear and the variation does not cause the required final call to reject or act on the wrong entity. Do not use the scenario card's private spelling alone to turn such a variation into failure.
Use tool results as evidence, not as the verdict. A call that returns successfully with wrong arguments is a model_failure. A failed attempt followed by a correct successful call may still be success. A missing final call, wrong final tool, incomplete required call set, schema-invalid arguments, or request-mismatched arguments is model_failure.
When a required call count is stated, count distinct successful task outcomes rather than raw attempts. Failed calls do not count. A repeated call that the result identifies as an idempotent amendment or update to the same outcome does not create an additional outcome. Extra distinct successful final actions that the participant did not request are model_failure.
Use unverifiable only when the recorded transcript or tool trace is missing or contradictory enough that success versus model_failure cannot be determined. Do not invent backend state or assume an unrecorded call occurred.
Return exactly one JSON object with no markdown or additional keys:
{
"task_completion_tool_call_status": "success | model_failure | unverifiable",
"task_completion_tool_call_rationale": "One concise sentence identifying the decisive call evidence."
}Regras de publicação
- Os resultados gerais são publicados para modelos com pelo menos 100 aparições e semiamplitude do intervalo de confiança de 95% não superior a 75.
- As gravações e transcrições dos participantes não são publicadas. Os exemplos só serão exibidos após a confirmação do consentimento para gravação e a revisão e ocultação de quaisquer informações pessoais.
Informamos um intervalo de confiança de 95% para a taxa de sucesso de tarefas de cada modelo usando o intervalo de escore de Wilson. Desvios dos participantes e conversas não verificáveis são excluídos antes do cálculo.
Limites
lower = max(0, (centre − spread) / denominator)
upper = min(1, (centre + spread) / denominator)| Termo | Cálculo |
|---|---|
| p | p = sucessos / n |
| n | n = sucessos + falhas do modelo |
| z | z = 1.96 |
| Denominador | denominator = 1 + z² / n |
| Centro | centre = p + z² / (2n) |
| Dispersão | spread = z · √((p(1 − p) + z² / (4n)) / n) |
Integração ao índice de fala para fala
Para uso exclusivo no Artificial Analysis Speech to Speech Index:
Arena Score: O Arena Score converte o Elo de um modelo em preferência esperada frente a uma linha de base de 800 Elo, usando um Elo congelado no momento em que o modelo se tornou elegível para publicação.
Arena Score = 100 / (1 + 10^((800 − frozen Elo) / 400))
Preço
- Preço por hora de áudio de entrada: Custo total (USD) do áudio incluído na solicitação/mensagem enviada à API.
- Preço por hora de áudio de saída: Custo total (USD) do áudio gerado pelo modelo (recebido da API).
Velocidade
- Tempo até o primeiro áudio (TTFA): Número médio de segundos necessários para gerar o primeiro token da saída de áudio, medido no conjunto de perguntas do Big Bench Audio. O TTFA é um indicador fundamental da percepção de agilidade em aplicações de agentes de voz.
Histórico de versões
Artificial Analysis Speech to Speech Index v2.0
Agosto de 2026—presente
- Substituição de dinâmica conversacional (Full Duplex Bench) por taxa de sucesso de tarefas no índice.
- Ponderação igual entre os quatro componentes: 25% raciocínio de fala (Big Bench Audio), 25% desempenho agêntico (𝜏-Voice), 25% preferência de Arena (Arena Score) e 25% taxa de sucesso de tarefas.
Artificial Analysis Speech to Speech Index v1.1
Agosto de 2026
- Adição de Speech Agent Arena ao Artificial Analysis Speech to Speech Index.
- Ponderação igual entre os quatro conjuntos de dados: 25% raciocínio de fala (Big Bench Audio), 25% dinâmica conversacional (Full Duplex Bench), 25% desempenho agêntico (𝜏-Voice) e 25% Speech Agent Arena.
Artificial Analysis Speech to Speech Index v1.0
Junho de 2026—presente
- Lançamento do Artificial Analysis Speech to Speech Index, uma pontuação média ponderada que exige resultados de raciocínio de fala, dinâmica conversacional e desempenho agêntico.
- Ponderação igual entre os três conjuntos de dados: 33,3% para raciocínio de fala (Big Bench Audio), 33,3% para dinâmica conversacional (Full Duplex Bench) e 33,3% para desempenho agêntico (𝜏-Voice).
Big Bench Audio (BBA) v1.2
Maio de 2026—presente
- Atualização do modelo avaliador e do sistema de avaliação para reconhecer com mais confiabilidade respostas finais corretas em respostas detalhadas, incluindo casos em que o modelo discute alternativas incorretas antes de dar a resposta correta.
Big Bench Audio (BBA) v1.1
Março de 2026—maio de 2026
- A acurácia era medida pelo número de respostas corretas entre 1.000, incluindo as perguntas que o modelo não respondeu.
- Claude Sonnet 4.6 usado como modelo avaliador.
Big Bench Audio (BBA) v1.0
Dezembro de 2024—março de 2026
- A acurácia era medida como a proporção de respostas sem erro respondidas corretamente, portanto os modelos não eram penalizados por perguntas que não respondiam.
- Claude Sonnet 3.5 usado como modelo avaliador.