音楽生成ベンチマークの方法論

アリーナ投票

品質Eloは、当社が募集したパネルがブラインド方式で行う一対比較の選好投票のみを基にしています。各比較では、同じプロンプトとモダリティから生成された2つのトラックをパネル参加者に提示します。パネル参加者は両方を聴き、好ましい方を選択します。Music Arenaで投じられた一般ユーザーの投票は、レーティングの計算には含まれません。

• 試聴要件： ユーザーが各トラックを少なくとも10秒間聴いた後にのみ投票できます。これにより、第一印象ではなく音声出力全体を踏まえた選好を反映します。
• ブラインド方式： 投票が完了するまで、モデル名、ロゴ、その他の識別情報は表示されません。

音声の正規化

トラックをアリーナに投入する前に、すべてのトラックのラウドネスと配信形式を統一します。これにより、音量やファイル特性の違いではなく、音楽の品質が投票に反映されます。

• ラウドネス： 各トラックは、単一の静的ゲイン調整によって統合ラウドネスの目標値である-16 LUFS（ITU-R BS.1770）に近づけます。クリッピングを防ぐため、増幅時はトゥルーピークの上限を-1 dBTPとし、十分なヘッドルームがないトラックは目標値をわずかに下回ります。コンプレッション、リミッティング、EQは適用せず、各トラックのダイナミクスと音色のバランスを維持します。
• 配信形式： プロバイダーが返す形式にかかわらず、すべてのトラックを44.1 kHz、320 kbpsのMP3に再エンコードし、プロバイダーのメタデータと埋め込みアートワークを削除します。元のチャンネル構成（モノラルまたはステレオ）は維持します。

リーダーボード

AA-Music-Instrumental v1.1とAA-Music-Vocal v1.1の各ベンチマークについて、グローバルリーダーボードを公開しています。

• グローバルリーダーボード： 当社が募集したパネルから寄せられた有効な投票をすべて集計します。モデルは、最低投票数に達すると掲載されます。

グローバルリーダーボードは、ジャンルでさらに絞り込めます。

プロンプトとジャンル

プロンプトには、さまざまな音楽スタイルを網羅した厳選済みで再現可能なセットを使用します。さらに、ユーザーが送信したプロンプト（25～200文字）を審査したうえで、ローテーションに追加します。

各プロンプトには、ポップ、ヒップホップ／ラップ、エレクトロニック（EDM）、クラシック／オーケストラ、ジャズ＆ブルースなど、1つのジャンルを付与します。同じBradley-Terry法を用いて、モダリティごとの総合Eloランキングに加え、ジャンル別Eloランキングも計算します。そのジャンルで有意な結果を得るのに十分な投票が集まると表示します。

AA-Music-Instrumental v1.1

AA-Music-Instrumental v1.1は、ボーカルを含まない音楽を生成するモデルを対象とします。Instrumentalフラグや、ボーカルを抑制するスタイルおよびネガティブプロンプトの制御など、エンドポイントがインストゥルメンタル出力に対応している場合にのみ、モデルをAA-Music-Instrumental v1.1でベンチマークします。インストゥルメンタル生成とボーカル生成を分ける方法がないエンドポイントの場合は、AA-Music-Vocal v1.1のみでモデルをベンチマークします。

AA-Music-Vocal v1.1

プロンプトを受け取り、歌詞とボーカルをモデル自体で生成できる場合にのみ、AA-Music-Vocal v1.1でベンチマークします。歌詞は提供しないため、このベンチマークには各モデルのエンドツーエンドの楽曲制作能力が反映されます。