음악 생성 벤치마킹 방법론

Arena 투표

품질 Elo는 전적으로 블라인드 방식의 일대일 사용자 선호도 투표를 기반으로 합니다. 각 비교에서 사용자는 동일한 프롬프트와 모달리티로 생성된 트랙 두 개를 보고 모두 들은 뒤, 더 선호하는 트랙을 선택합니다.

• 청취 요건: 사용자가 각 트랙을 최소 10초 이상 들은 뒤에만 투표할 수 있으므로, 첫인상이 아닌 전체 오디오 출력을 바탕으로 선호도를 판단하게 됩니다.
• 블라인드: 투표가 완료될 때까지 모델 이름, 로고 및 식별할 수 있는 모든 정보를 숨깁니다.

오디오 정규화

트랙이 Arena에 들어가기 전에 모든 트랙의 음량과 제공 형식을 동일하게 정규화하여, 음량이나 파일 특성이 아닌 음악적 품질을 바탕으로 투표하도록 합니다.

• 음량: 각 트랙에 한 번의 정적 게인 조정을 적용하여 통합 음량 -16 LUFS(ITU-R BS.1770)를 목표로 맞춥니다. 클리핑을 방지하기 위해 증폭은 -1 dBTP 트루 피크 상한으로 제한하므로 헤드룸이 부족한 트랙은 목표보다 약간 낮게 유지됩니다. 압축, 리미팅 또는 EQ는 적용하지 않아 각 트랙의 다이내믹스와 음색 균형을 보존합니다.
• 제공 형식: 제공업체가 반환한 형식과 관계없이 모든 트랙을 44.1 kHz, 320 kbps MP3로 다시 인코딩하고 제공업체 메타데이터와 삽입된 아트워크를 제거합니다. 원래 채널 구성(모노 또는 스테레오)은 유지합니다.

리더보드

각 모달리티에 대해 글로벌 리더보드와 개인 리더보드를 제공합니다.

• 글로벌 리더보드: 모든 사용자의 유효한 투표를 집계합니다. 모델은 최소 투표 수를 충족하면 표시됩니다.
• 개인 리더보드: 사용자 한 명의 투표만으로 만든 순위입니다. 사용자가 최소 투표 수를 충족하면 활성화되며, 신뢰할 수 있는 순위를 만들기에 충분한 수의 투표를 완료할 때까지 신뢰도가 낮다는 경고가 표시됩니다.

두 리더보드 모두 장르별로 필터링할 수도 있습니다.

프롬프트 및 장르

프롬프트는 다양한 음악 스타일을 포괄하도록 엄선된 재현 가능한 세트에서 가져옵니다. 여기에 사용자가 제출한 프롬프트(25~200자)를 검토한 뒤 순환 목록에 추가해 보완합니다.

각 프롬프트에는 Pop, Hip-Hop / Rap, Electronic (EDM), Classical / Orchestral, Jazz & Blues 등의 장르 하나가 태그됩니다. 동일한 Bradley-Terry 방법을 사용하여 각 모달리티의 전체 순위와 함께 장르별 Elo 순위를 계산하고, 의미 있는 결과를 낼 만큼 장르별 투표가 충분히 쌓이면 표시합니다.

Instrumental

Instrumental 모델은 보컬 없는 음악을 생성합니다. Instrumental 플래그 또는 보컬을 억제하는 스타일 및 네거티브 프롬프트 제어 기능 등을 통해 엔드포인트에서 반주 출력을 생성할 수 있는 경우에만 Instrumental 모달리티로 벤치마킹합니다. 엔드포인트에 반주와 보컬 생성을 구분하는 방법이 없으면 Vocals 모달리티로만 모델을 벤치마킹합니다.

Vocals

프롬프트를 받아 가사와 보컬을 자체적으로 생성할 수 있는 모델만 이 모달리티로 벤치마킹합니다. 가사를 제공하지 않으므로 이 벤치마크는 각 모델의 종단 간 작곡 역량을 반영합니다.