Resumen de Pronunciation Robustness

Cada modelo lee el mismo conjunto de oraciones. Cada oración contiene uno o más fragmentos resaltados difíciles de pronunciar, con lecturas aceptadas definidas de antemano. Revisores humanos escuchan y juzgan cada fragmento.

1. 01

   Un conjunto fijo de oraciones

   Oraciones de cuatro categorías, cada una con fragmentos resaltados y pronunciaciones aceptadas acordadas de antemano. Cada modelo lee el texto idéntico con una voz fija.

2. 02

   Cada modelo lee cada oración

   El audio se genera una vez por modelo con una voz consistente y se presenta a los revisores en orden aleatorio sin nombres de modelo. Las oraciones se envían tal como están escritas, sin normalización por nuestra parte; cada modelo usa su configuración predeterminada de normalización de texto si la tiene.

3. 03

   Revisores humanos juzgan los fragmentos de la oración

   Los revisores escuchan el clip, ven el fragmento resaltado y sus lecturas aceptadas, y responden si se pronunció de forma natural y correcta con Sí, No o No pude distinguirlo. Al menos tres revisores independientes juzgan más del 95 % de los clips de cada modelo publicado. La puntuación de un modelo es la proporción de juicios respondidos Sí sobre Sí más No; las respuestas "No pude distinguirlo" se excluyen.

Las sesiones incluyen clips de control de atención con respuestas conocidas. Los revisores que fallan cualquier control respondido quedan excluidos por completo. Publicamos resultados de un modelo cuando al menos el 95 % de las muestras del conjunto están cubiertas por tres o más revisores.