Visão geral do Pronunciation Robustness

Cada modelo lê o mesmo conjunto de frases. Cada frase contém um ou mais trechos destacados difíceis de pronunciar, com leituras aceitas definidas de antemão. Revisores humanos ouvem e julgam cada trecho.

1. 01

   Um conjunto fixo de frases

   Frases de quatro categorias, cada uma com trechos destacados e pronúncias aceitas previamente acordadas. Cada modelo lê o texto idêntico com uma voz fixa.

2. 02

   Cada modelo lê cada frase

   O áudio é gerado uma vez por modelo com uma voz consistente e apresentado aos revisores em ordem aleatória, sem nomes de modelo. As frases são enviadas como escritas, sem normalização da nossa parte; cada modelo usa sua configuração padrão de normalização de texto, se tiver uma.

3. 03

   Revisores humanos julgam os trechos da frase

   Os revisores ouvem o clipe, veem o trecho destacado e suas leituras aceitas, e respondem se foi pronunciado de forma natural e correta com Sim, Não ou Não consegui distinguir. Pelo menos três revisores independentes julgam mais de 95% dos clipes de cada modelo publicado. A pontuação de um modelo é a proporção de julgamentos respondidos Sim sobre Sim mais Não; respostas "Não consegui distinguir" são excluídas.

As sessões incluem clipes de verificação de atenção com respostas conhecidas. Revisores que erram qualquer verificação respondida são totalmente excluídos. Publicamos resultados de um modelo quando pelo menos 95% das amostras do conjunto estão cobertas por três ou mais revisores.