Pronunciation-Robustness-Übersicht

Jedes Modell liest denselben Satz von Sätzen. Jeder Satz enthält einen oder mehrere markierte Abschnitte, die schwer auszusprechen sind, mit vorab festgelegten akzeptierten Lesarten. Menschliche Prüfer hören zu und beurteilen jeden Abschnitt.

1. 01

   Ein fester Satzbestand

   Sätze aus vier Kategorien, jeweils mit markierten Abschnitten und vorab vereinbarten akzeptierten Aussprachen. Jedes Modell liest den identischen Text mit einer festgelegten Stimme.

2. 02

   Jedes Modell liest jeden Satz

   Audio wird einmal pro Modell mit einer konsistenten Stimme generiert und den Prüfern in zufälliger Reihenfolge ohne Modellnamen vorgespielt. Die Sätze werden wie geschrieben übergeben, ohne Normalisierung auf unserer Seite; jedes Modell nutzt, falls vorhanden, seine Standardeinstellung zur Textnormalisierung.

3. 03

   Menschliche Prüfer beurteilen Abschnitte im Satz

   Prüfer hören den Clip, sehen den markierten Abschnitt und seine akzeptierten Lesarten und beantworten, ob er natürlich und korrekt ausgesprochen wurde, mit Ja, Nein oder Ich konnte es nicht erkennen. Mindestens drei unabhängige Prüfer beurteilen über 95 % der Clips jedes veröffentlichten Modells. Die Punktzahl eines Modells ist der Anteil der mit Ja beantworteten Abschnittsurteile an Ja plus Nein; Antworten mit "Ich konnte es nicht erkennen" werden ausgeschlossen.

Sitzungen enthalten Aufmerksamkeits-Clips mit bekannten Antworten. Prüfer, die eine beantwortete Kontrolle verfehlen, werden vollständig ausgeschlossen. Wir veröffentlichen Ergebnisse für ein Modell, sobald mindestens 95 % der Beispiele im Satz von drei oder mehr Prüfern abgedeckt sind.