音楽生成ベンチマークの方法論

アリーナ投票

品質Eloは、ブラインド方式で行う一対比較の人間による選好投票のみを基にしています。各比較では、同じプロンプトとモダリティから生成された2つのトラックをユーザーに提示します。ユーザーは両方を聴き、好ましい方を選択します。

• 試聴要件： ユーザーが各トラックを少なくとも10秒間聴いた後にのみ投票できます。これにより、第一印象ではなく音声出力全体を踏まえた選好を反映します。
• ブラインド方式： 投票が完了するまで、モデル名、ロゴ、その他の識別情報は表示されません。

音声の正規化

トラックをアリーナに投入する前に、すべてのトラックのラウドネスと配信形式を統一します。これにより、音量やファイル特性の違いではなく、音楽の品質が投票に反映されます。

• ラウドネス： 各トラックは、単一の静的ゲイン調整によって統合ラウドネスの目標値である-16 LUFS（ITU-R BS.1770）に近づけます。クリッピングを防ぐため、増幅時はトゥルーピークの上限を-1 dBTPとし、十分なヘッドルームがないトラックは目標値をわずかに下回ります。コンプレッション、リミッティング、EQは適用せず、各トラックのダイナミクスと音色のバランスを維持します。
• 配信形式： プロバイダーが返す形式にかかわらず、すべてのトラックを44.1 kHz、320 kbpsのMP3に再エンコードし、プロバイダーのメタデータと埋め込みアートワークを削除します。元のチャンネル構成（モノラルまたはステレオ）は維持します。

リーダーボード

モダリティごとに、グローバルリーダーボードとパーソナルリーダーボードを公開しています。

• グローバルリーダーボード： ユーザーから寄せられた有効な投票をすべて集計します。モデルは、最低投票数に達すると掲載されます。
• パーソナルリーダーボード： 1人のユーザー自身の投票から作成されるランキングです。最低投票数に達すると利用可能になり、信頼できるランキングに必要な投票数に達するまでは、信頼度が低いことを示す警告が表示されます。

どちらのリーダーボードも、ジャンルでさらに絞り込めます。

プロンプトとジャンル

プロンプトには、さまざまな音楽スタイルを網羅した厳選済みで再現可能なセットを使用します。さらに、ユーザーが送信したプロンプト（25～200文字）を審査したうえで、ローテーションに追加します。

各プロンプトには、ポップ、ヒップホップ／ラップ、エレクトロニック（EDM）、クラシック／オーケストラ、ジャズ＆ブルースなど、1つのジャンルを付与します。同じBradley-Terry法を用いて、モダリティごとの総合Eloランキングに加え、ジャンル別Eloランキングも計算します。そのジャンルで有意な結果を得るのに十分な投票が集まると表示します。

Instrumental

Instrumentalモデルは、ボーカルを含まない音楽を生成します。Instrumentalフラグや、ボーカルを抑制するスタイルおよびネガティブプロンプトの制御など、エンドポイントがインストゥルメンタル出力に対応している場合にのみ、モデルをInstrumentalモダリティでベンチマークします。インストゥルメンタル生成とボーカル生成を分ける方法がないエンドポイントの場合は、Vocalsモダリティのみでモデルをベンチマークします。

Vocals

プロンプトを受け取り、歌詞とボーカルをモデル自体で生成できる場合にのみ、このモダリティでベンチマークします。歌詞は提供しないため、このベンチマークには各モデルのエンドツーエンドの楽曲制作能力が反映されます。