St. Mary’s is on Church St.
St.Contextual abbreviation可接受：
- Saint
St.Contextual abbreviation可接受：
- Street
Pronunciation Robustness 概览
Pronunciation Robustness 基准测试 衡量文本转语音模型能否正确发音高难度文本，包括读法取决于语境的词、需要展开的缩写记法、代码和电子邮件等精确序列，以及品牌名和地名等独立术语。人工评审员逐条收听音频，判定高亮片段的发音是否正确。
Pronunciation Robustness 基准测试的工作原理
每个模型朗读同一组句子。每个句子包含一个或多个难以发音的高亮片段，且预先定义了可接受的读法。人工评审员逐一收听并判定每个片段。
- 01
固定的句子集
句子涵盖四个类别，每句都有高亮片段和事先约定的可接受发音。所有模型使用固定音色朗读完全相同的文本。
- 02
每个模型朗读每个句子
每个模型使用一致的音色生成一次音频，然后以随机顺序、隐去模型名称呈现给评审员。句子按原文发送，我们不做归一化处理；如果模型提供文本归一化设置，则使用其默认值。
- 03
人工评审员判定句中片段
评审员收听音频，查看高亮片段及其可接受读法，并以"是"、"否"或"无法判断"回答其发音是否自然且正确。对于每个发布的模型，95% 以上的音频至少由三名第三方评审员判定。模型得分为"是"占"是"与"否"之和的比例，"无法判断"的回答不计入。
评审会话包含已知答案的注意力校验音频。答错任何已作答校验的评审员将被整体排除。当句子集样本的 95% 以上获得三名及以上评审员覆盖时，我们发布其结果。
评审员看到的界面
这句话中高亮的部分发音是否自然且正确？
Press Ctrl+Z to undo the last edit.
可接受的发音: Ctrl+Z
与以下任一选项一致即视为正确。
- control zee
- control zed
- control plus zee
- control plus zed
是否无法判断
覆盖的发音难点类别
依语境正确发音 (Contextual Disambiguation)
拼写相同但读法随语境变化的词
例如：wound 作"缠绕"与"伤口"时读法不同
展开缩写记法 (Text Normalization)
自然读出数字、日期、单位和记号
例如：6'2"、Chapter XVII、1 tsp of sugar
保持精确序列 (Sequence Fidelity)
准确读出代码、路径、邮箱和标识符
例如：.env.local、a.chen@ucsf.edu
独立术语 (Term Pronunciation)
正确读出品牌、地名和专业术语
例如：Arkansas、façade、genre
按模型查看示例音频
同样的句子，由指数中的每个模型朗读。选择一个模型即可收听其在各发音难点类别下的音频。
以下示例音频是基准集的固定公开子集。完整集合不公开，以防基准受到污染。
以下所有例句和音频均属于所选模型。
依语境正确发音 (Contextual Disambiguation)
拼写相同但读法随语境变化的词
That excuse does not excuse the delay.
excuseFinal-consonant contrast可接受：
- noun ends with an s sound
excuseFinal-consonant contrast可接受：
- verb ends with a z sound
The instructions say to wait 30 sec. before reading sec. 4.
30 sec.Contextual abbreviation可接受：
- thirty seconds
sec. 4Contextual abbreviation可接受：
- section four
展开缩写记法 (Text Normalization)
自然读出数字、日期、单位和记号
Median latency was 12 ms, reported as p50.
12 msMeasurements and units可接受：
- twelve milliseconds
p50Measurements and units可接受：
- P fifty
- the fiftieth percentile
Take the elevator to the 3rd Fl and turn left.
3rd FlNumbers, ranges and other shorthand可接受：
- third floor
The Class of '09 reunion is on 9/9, of all days.
'09Dates and times可接受：
- oh-nine
- two thousand nine
- two thousand and nine
9/9,Dates and times可接受：
- September ninth
- ninth of September
保持精确序列 (Sequence Fidelity)
准确读出代码、路径、邮箱和标识符
Press Ctrl+Z to undo the last edit.
Ctrl+ZCodes and identifiers可接受：
- control zee
- control zed
- control plus zee
- control plus zed
We're on iOS 26.1.2 here and macOS 15.7.1 on the laptops.
26.1.2Versions and network values可接受：
- two six dot one dot two
- two six point one point two
- twenty-six dot one dot two
- twenty-six point one point two
15.7.1Versions and network values可接受：
- one five dot seven dot one
- one five point seven point one
- fifteen dot seven dot one
- fifteen point seven point one
Dial 999 in the UK, 112 in the EU and 911 here.
999Codes and identifiers可接受：
- nine nine nine
- triple nine
112Codes and identifiers可接受：
- one one two
911Codes and identifiers可接受：
- nine one one
独立术语 (Term Pronunciation)
正确读出品牌、地名和专业术语
The river continues south through Arkansas.
ArkansasPlace name可接受：
- AR-kan-saw
The paper was typeset in LaTeX.
LaTeXSoftware term可接受：
- LAY-tek
- LAH-tek
Workers restored the stone façade above the entrance.
façadeBorrowed term可接受：
- fuh-SAHD