音声合成ベンチマークの方法論

対象範囲と背景

Artificial Analysisでは、サーバーレスAPIエンドポイントを通じて提供される音声合成モデルをベンチマークしています。このページでは、品質と性能の両方を含む音声合成ベンチマークの方法を説明します。利用者がアクセスに対する固定料金ではなく、使用量に応じてのみ料金を支払う音声合成エンドポイントをサーバーレスとみなします。

性能ベンチマークと音声アリーナのどちらでも、サーバーレスAPIを利用するエンドユーザーの体験を反映することに重点を置いています。音声ファイルをローカルで受信するまでの時間を測定します。APIのレスポンスがバイト列ではなくURLの場合は、ファイルのダウンロード時間もレスポンスタイムに含めます。各プロバイダーのドキュメントで推奨される標準的なAPI実装を使用します。プロバイダーのAPIで選択できる場合は、音声のサンプリングレートを22.05 kHzに統一します。

主要指標

音声合成モデルの品質、性能、料金を追跡するために、次の指標を使用します。

統制音声

統制音声アリーナでは、各音声合成モデルの評価に使用する音声を標準化するため、音声クローニングを使用します。同じ参照音声を使ってモデルを比較することで、特定の声に対する聞き手の好みと、発話の自然さ、音質、発音、話すペース、韻律といったモデル品質のより広い側面を切り分けます。これにより、基盤となる音声合成モデルをより同条件で比較できます。

統制音声アリーナは、各モデルをそのモデル独自の公開音声の代表的なセットで評価するプロバイダー音声アリーナを補完します。参照セットは、プロが録音した8種類の音声（米国英語の女性2名と男性2名、英国英語の女性2名と男性2名）で構成されます。以下から統制音声を選択すると、その参照録音を試聴できます。

プロバイダー音声

プロバイダー音声アリーナでは、各音声合成モデルを、そのモデルのプロバイダーが提供する音声の代表的なセットで評価します。これは、同じクローン参照音声でモデルを比較する統制音声アリーナを補完するものです。プロバイダー音声は、各モデルが独自の公開API、製品インターフェース、ドキュメントを通じてユーザーに通常どのように体験されるかを反映します。

モデル間の比較が代表的かつ公平になるよう、各モデルについてプロバイダーが提供する複数の音声を選択します。男性と女性、米国英語と英国英語の各組み合わせから2音声ずつ、合計8音声を選びます。性別とアクセントの組み合わせが利用できない場合、その組み合わせはプロバイダー音声アリーナの評価から除外します。

音声はプロバイダーのインターフェースやドキュメントでの目立ちやすさを基準に選び、強く様式化された地域アクセントなど、中立的でない音声は除外します。多数の音声が利用できる場合は、モデル開発元が特定の音声の使用を依頼することもできます。通常オープンソースモデルに見られるように、プロバイダー音声が提供されない場合は、プロの声優による音声クリップを音声生成のソースファイルとして使用します（サンプルは上記の「統制音声」を参照）。

以下からモデル開発元を選択すると、その開発元の各モデルで現在使用しているプロバイダー音声を確認できます。

モデルとプロバイダーの掲載基準

当社は、人気があり高性能な音声合成モデルとプロバイダーを分析・比較し、エンドユーザーの選択に役立てることを目指しています。そのため、「業界での重要性」と競争力を検証し、新しいモデルやプロバイダーの掲載可否を評価します。現在も基準を改善しており、ご意見やご提案を歓迎します。モデルやプロバイダーを提案するには、お問い合わせページからご連絡ください。

ベンチマークは毎日ランダムな時刻に4回実施します。各ベンチマーク評価では、モデルごとに1つの音声をランダムに選択します。生成ごとに約500文字の固有のプロンプトを使用します。

独立性に関する声明

ベンチマークは、厳格な独立性と客観性をもって実施しています。Artificial Analysisへの掲載や好意的な結果の見返りとして、プロバイダーから報酬を受け取ることはありません。