St. Mary’s is on Church St.
St.Contextual abbreviation허용:
- Saint
St.Contextual abbreviation허용:
- Street
Pronunciation Robustness 개요
Pronunciation Robustness 벤치마크는 텍스트 음성 변환 모델이 어려운 텍스트를 올바르게 발음하는지 측정합니다. 문맥에 따라 읽는 방식이 달라지는 단어, 풀어 읽어야 하는 축약 표기, 코드와 이메일 같은 정확한 시퀀스, 브랜드명과 지명 같은 독립 용어가 포함됩니다. 인간 검수자가 각 클립을 듣고 강조된 구간이 올바르게 발음되었는지 판정합니다.
Pronunciation Robustness 벤치마크의 작동 방식
모든 모델이 동일한 문장 세트를 읽습니다. 각 문장에는 발음하기 어려운 강조 구간이 하나 이상 있으며, 허용되는 읽기 방식이 사전에 정의되어 있습니다. 인간 검수자가 듣고 각 구간을 판정합니다.
- 01
고정된 문장 세트
네 가지 카테고리의 문장으로, 각각 강조 구간과 사전 합의된 허용 발음이 있습니다. 모든 모델이 고정된 음성으로 동일한 텍스트를 읽습니다.
- 02
모든 모델이 모든 문장을 읽음
오디오는 모델당 한 번 일관된 음성으로 생성되며, 모델명을 가린 채 무작위 순서로 검수자에게 제공됩니다. 문장은 저희 측 정규화 없이 작성된 그대로 전송되며, 텍스트 정규화 설정이 있는 모델은 기본값을 사용합니다.
- 03
인간 검수자가 문장 내 구간을 판정
검수자는 클립을 듣고 강조 구간과 허용되는 읽기 방식을 확인한 뒤, 자연스럽고 올바르게 발음되었는지를 예, 아니요, 판별 불가 중 하나로 답합니다. 공개되는 각 모델에서 클립의 95% 이상을 최소 3명의 제3자 검수자가 판정합니다. 모델 점수는 예와 아니요 합계 대비 예로 답한 구간 판정의 비율이며, "판별 불가" 응답은 제외됩니다.
세션에는 정답이 알려진 주의력 확인 클립이 포함됩니다. 응답한 확인 문항을 하나라도 틀린 검수자는 전체 제외됩니다. 세트 내 샘플의 95% 이상이 3명 이상의 검수자에게 커버되면 결과를 게시합니다.
검수자가 보는 화면
이 문장에서 강조된 부분이 자연스럽고 올바르게 발음되었나요?
Press Ctrl+Z to undo the last edit.
허용되는 발음: Ctrl+Z
아래 옵션 중 하나와 일치하면 정답으로 처리합니다.
- control zee
- control zed
- control plus zee
- control plus zed
예아니요판별 불가
다루는 발음 난제 카테고리
문맥에 맞는 발음 (Contextual Disambiguation)
철자는 같지만 문맥에 따라 다르게 읽는 단어
예: 감긴 붕대(wound)와 붕대를 감은 상처
축약 표기 풀어 읽기 (Text Normalization)
숫자, 날짜, 단위, 표기를 자연스럽게 읽기
예: 6'2", Chapter XVII, 1 tsp of sugar
정확한 시퀀스 유지 (Sequence Fidelity)
코드, 경로, 이메일, 식별자를 정확히 발화
예: .env.local, a.chen@ucsf.edu
독립 용어 (Term Pronunciation)
브랜드, 지명, 전문 용어를 올바르게 발음
예: Arkansas, façade, genre
모델별 예시 클립
인덱스의 모든 모델이 읽은 동일한 문장입니다. 모델을 선택하면 각 발음 난제 카테고리의 클립을 들을 수 있습니다.
아래 예시 클립은 벤치마크 세트의 고정된 공개 하위 집합입니다. 벤치마크 오염을 막기 위해 전체 세트는 비공개로 유지됩니다.
아래의 모든 예시 문장과 오디오는 선택된 모델의 것입니다.
문맥에 맞는 발음 (Contextual Disambiguation)
철자는 같지만 문맥에 따라 다르게 읽는 단어
That excuse does not excuse the delay.
excuseFinal-consonant contrast허용:
- noun ends with an s sound
excuseFinal-consonant contrast허용:
- verb ends with a z sound
The instructions say to wait 30 sec. before reading sec. 4.
30 sec.Contextual abbreviation허용:
- thirty seconds
sec. 4Contextual abbreviation허용:
- section four
축약 표기 풀어 읽기 (Text Normalization)
숫자, 날짜, 단위, 표기를 자연스럽게 읽기
Median latency was 12 ms, reported as p50.
12 msMeasurements and units허용:
- twelve milliseconds
p50Measurements and units허용:
- P fifty
- the fiftieth percentile
Take the elevator to the 3rd Fl and turn left.
3rd FlNumbers, ranges and other shorthand허용:
- third floor
The Class of '09 reunion is on 9/9, of all days.
'09Dates and times허용:
- oh-nine
- two thousand nine
- two thousand and nine
9/9,Dates and times허용:
- September ninth
- ninth of September
정확한 시퀀스 유지 (Sequence Fidelity)
코드, 경로, 이메일, 식별자를 정확히 발화
Press Ctrl+Z to undo the last edit.
Ctrl+ZCodes and identifiers허용:
- control zee
- control zed
- control plus zee
- control plus zed
We're on iOS 26.1.2 here and macOS 15.7.1 on the laptops.
26.1.2Versions and network values허용:
- two six dot one dot two
- two six point one point two
- twenty-six dot one dot two
- twenty-six point one point two
15.7.1Versions and network values허용:
- one five dot seven dot one
- one five point seven point one
- fifteen dot seven dot one
- fifteen point seven point one
Dial 999 in the UK, 112 in the EU and 911 here.
999Codes and identifiers허용:
- nine nine nine
- triple nine
112Codes and identifiers허용:
- one one two
911Codes and identifiers허용:
- nine one one
독립 용어 (Term Pronunciation)
브랜드, 지명, 전문 용어를 올바르게 발음
The river continues south through Arkansas.
ArkansasPlace name허용:
- AR-kan-saw
The paper was typeset in LaTeX.
LaTeXSoftware term허용:
- LAY-tek
- LAH-tek
Workers restored the stone façade above the entrance.
façadeBorrowed term허용:
- fuh-SAHD