St. Mary’s is on Church St.
St.Contextual abbreviation許容：
- Saint
St.Contextual abbreviation許容：
- Street
Pronunciation Robustness 概要
Pronunciation Robustness ベンチマーク は、テキスト読み上げモデルが難しいテキストを正しく発音できるかを測定します。対象には、文脈によって読み方が変わる語、展開が必要な省略表記、コードやメールアドレスなどの正確なシーケンス、ブランド名や地名などの独立した用語が含まれます。人間のレビュアーが各クリップを聴き、ハイライトされた箇所が正しく発音されたかを判定します。
Pronunciation Robustness ベンチマークの仕組み
すべてのモデルが同じ文セットを読み上げます。各文には発音が難しいハイライト箇所が1つ以上含まれ、許容される読み方が事前に定義されています。人間のレビュアーが聴いて各箇所を判定します。
- 01
固定された文セット
4つのカテゴリにわたる文で、それぞれにハイライト箇所と事前合意された許容発音があります。すべてのモデルが固定された音声で同一のテキストを読み上げます。
- 02
すべてのモデルがすべての文を読む
音声はモデルごとに一貫したボイスで一度生成され、モデル名を伏せてランダムな順序でレビュアーに提示されます。文は当社側で正規化せず記述どおりに送信され、テキスト正規化の設定があるモデルはそのデフォルト値を使用します。
- 03
人間のレビュアーが文中の箇所を判定
レビュアーはクリップを聴き、ハイライト箇所と許容される読み方を確認し、自然かつ正しく発音されたかを「はい」「いいえ」「判別できない」で回答します。公開対象の各モデルでは、クリップの 95% 以上を少なくとも3名の第三者レビュアーが判定します。モデルのスコアは、「はい」と「いいえ」の合計に対する「はい」の割合で、「判別できない」の回答は除外されます。
セッションには正解が既知のアテンションチェック用クリップが含まれます。回答済みのチェックを1つでも外したレビュアーは完全に除外されます。セット内サンプルの95%以上が3名以上のレビュアーにカバーされた時点で結果を公開します。
レビュアーが見る画面
この文でハイライトされた部分は自然かつ正しく発音されていましたか？
Press Ctrl+Z to undo the last edit.
許容される発音: Ctrl+Z
以下のいずれかに一致すれば正解とします。
- control zee
- control zed
- control plus zee
- control plus zed
はいいいえ判別できない
対象とする発音課題のカテゴリ
文脈に応じた読み分け (Contextual Disambiguation)
綴りが同じでも文脈により読み方が変わる語
例：包帯を巻いた傷（wound）と巻かれた包帯
省略表記の展開 (Text Normalization)
数字、日付、単位、記法を自然に読み上げる
例：6'2"、Chapter XVII、1 tsp of sugar
正確なシーケンスの保持 (Sequence Fidelity)
コード、パス、メールアドレス、識別子を正確に発話
例：.env.local、a.chen@ucsf.edu
独立した用語 (Term Pronunciation)
ブランド名、地名、専門用語を正しく発音
例：Arkansas、façade、genre
モデル別サンプルクリップ
インデックス上のすべてのモデルが読み上げた同じ文です。モデルを選択すると、各発音課題カテゴリのクリップを聴けます。
以下のサンプルクリップはベンチマークセットの固定された公開サブセットです。ベンチマークの汚染を防ぐため、完全なセットは非公開です。
以下のすべての例文と音声は選択中のモデルのものです。
文脈に応じた読み分け (Contextual Disambiguation)
綴りが同じでも文脈により読み方が変わる語
That excuse does not excuse the delay.
excuseFinal-consonant contrast許容：
- noun ends with an s sound
excuseFinal-consonant contrast許容：
- verb ends with a z sound
The instructions say to wait 30 sec. before reading sec. 4.
30 sec.Contextual abbreviation許容：
- thirty seconds
sec. 4Contextual abbreviation許容：
- section four
省略表記の展開 (Text Normalization)
数字、日付、単位、記法を自然に読み上げる
Median latency was 12 ms, reported as p50.
12 msMeasurements and units許容：
- twelve milliseconds
p50Measurements and units許容：
- P fifty
- the fiftieth percentile
Take the elevator to the 3rd Fl and turn left.
3rd FlNumbers, ranges and other shorthand許容：
- third floor
The Class of '09 reunion is on 9/9, of all days.
'09Dates and times許容：
- oh-nine
- two thousand nine
- two thousand and nine
9/9,Dates and times許容：
- September ninth
- ninth of September
正確なシーケンスの保持 (Sequence Fidelity)
コード、パス、メールアドレス、識別子を正確に発話
Press Ctrl+Z to undo the last edit.
Ctrl+ZCodes and identifiers許容：
- control zee
- control zed
- control plus zee
- control plus zed
We're on iOS 26.1.2 here and macOS 15.7.1 on the laptops.
26.1.2Versions and network values許容：
- two six dot one dot two
- two six point one point two
- twenty-six dot one dot two
- twenty-six point one point two
15.7.1Versions and network values許容：
- one five dot seven dot one
- one five point seven point one
- fifteen dot seven dot one
- fifteen point seven point one
Dial 999 in the UK, 112 in the EU and 911 here.
999Codes and identifiers許容：
- nine nine nine
- triple nine
112Codes and identifiers許容：
- one one two
911Codes and identifiers許容：
- nine one one
独立した用語 (Term Pronunciation)
ブランド名、地名、専門用語を正しく発音
The river continues south through Arkansas.
ArkansasPlace name許容：
- AR-kan-saw
The paper was typeset in LaTeX.
LaTeXSoftware term許容：
- LAY-tek
- LAH-tek
Workers restored the stone façade above the entrance.
façadeBorrowed term許容：
- fuh-SAHD