動画生成ベンチマークの方法論
対象範囲と背景
Artificial Analysisでは、通常サーバーレスAPIエンドポイントを介して提供される動画生成モデルをベンチマークしています。このページでは、動画生成モデルの品質、速度、料金を測定する方法を説明します。
動画生成機能について、次の6つのモダリティを対象としています。
- テキストから動画生成： テキストプロンプトのみから動画を生成するモデル。
- 画像から動画生成： 参照画像を最初のフレームとして使い、対応している場合はテキストプロンプトも併用して動画を生成するモデル。
- 動画編集： 入力動画とテキストプロンプトから動画を生成するモデル。
- 音声付きテキストから動画生成： 動画と同時に同期音声を生成するテキストから動画生成モデル。
- 音声付き画像から動画生成： 動画と同時に同期音声を生成する画像から動画生成モデル。
- 音声付き動画編集： 動画と同時に同期音声を生成する動画編集モデル。
Video Arenaではモダリティごとに独立したEloプールを設けています。そのため、無音出力と音声付き出力を直接比較することはなく、編集と生成も比較しません。
すべてのモデルとプロバイダーで生成する各動画に、標準のデフォルト設定を適用します。比較可能性を確保するため、解像度、フレームレート、長さ、アスペクト比、シード、ガイダンス、推論ステップなど、モデルごとに同一の設定で生成した動画を使用します。デフォルト設定の全項目は、後述の「デフォルト生成設定」に記載しています。
エンドポイントの対象範囲
対象ワークロード：推論ベンチマークでは、テキストから動画生成と画像から動画生成のエンドポイントを対象とします。
公開サーバーレスエンドポイントのみ：現在または今後一般公開される、実際にサーバーレスであるエンドポイントを対象とします。デモ製品、ハードウェア展示、専用または非公開のデプロイは対象外です。
Standard／Modifiedエンドポイント
各エンドポイントを、ネイティブモデルを完全な忠実度で提供し、標準の入力パラメーターを公開するStandard（標準）、または通常は生成速度の向上やコスト削減を目的に、出力の忠実度へ影響する形でネイティブモデルから変更されたModified（変更済み）のいずれかに分類します。
ModifiedエンドポイントにはArtificial Analysis上で「Modified」と表示し、デフォルトのリーダーボード表示では非表示にする場合があります。表示を選択したユーザーは引き続き確認できます。デフォルトベンチマークの公平性を保つため、蒸留、ネイティブモデルの入力パラメーターの一部のみの公開、出力品質の大幅な低下などを指標として、エンドポイントをModifiedに分類するかどうか、および同一モデルのバリエーションをいくつ掲載するかは、当社の裁量で決定します。
主要指標
動画生成モデルの品質、性能、料金を追跡するため、次の指標を使用します。
品質Elo
各モデルのEloスコアは、Artificial AnalysisのVideo Arenaでのユーザー投票から算出した相対的な品質を示します。Arenaでは、異なるモデルが同じプロンプトから生成した2本の動画を比較し、ユーザーが好む方を選びます。この一対比較の投票をBradley-Terry最尤推定で集計し、読みやすいElo相当の範囲に再スケーリングします。レーティングは1時間ごとに再計算されます。
Arenaでは同じモダリティの出力同士のみを組み合わせるため、Eloはモダリティ（テキストから動画生成、画像から動画生成、動画編集、音声付きテキストから動画生成、音声付き画像から動画生成、音声付き動画編集）ごとに個別に報告します。
動画1分あたりの料金
デフォルト生成設定で1分間の動画を生成する際のプロバイダー料金（USD）です。
料金は、各プロバイダーが公開している1分あたりの料金をそのまま使用します。
生成時間
デフォルト生成設定で動画1本を生成するためにプロバイダーが要する時間の中央値です。過去14日間のデータから算出します。
生成時間は、プロバイダーへのリクエスト送信時点から、キュー待機、推論、動画エンコードを経て、完成した動画をプロバイダーからダウンロードするまでをエンドツーエンドで測定します。非同期API（送信→ポーリング→ダウンロード）では、この3つのフェーズをすべて含みます。
画像から動画生成モデルでは、参照画像をプロバイダーへアップロードするために必要な時間も生成時間に含めます。参照画像のURLを受け付けるプロバイダーにはアップロード工程がないため、生成時間に画像のアップロードは含まれません。
デフォルト生成設定
特に記載がない限り、これらの設定をテキストから動画生成と画像から動画生成の両方のベンチマークに適用します。
| 設定 | 値 |
|---|---|
| 解像度 | 1080p（または対応する最も近い値） |
| フレームレート | 24 FPS（または対応する最も近い値） |
| 長さ | 10秒（長さをフレーム数で指定する必要がある場合は、同等のフレーム数） |
| アスペクト比 | 16:9 横向き |
| シード | 42（モデルがシードパラメーターを公開している場合） |
| プロンプト拡張 | モデル作成者が推奨している場合はオン、それ以外はオフ |
| CFG／ガイダンス | 公式APIのデフォルト値、またはオープンソースリポジトリのデフォルト値 |
| 推論ステップ | 公式APIのデフォルト値、またはオープンソースリポジトリのデフォルト値 |
プロバイダーが厳密なデフォルト値に対応していない場合は、対応する最も近い値を使い、同距離なら大きい方を選びます（例：24 FPSを利用できない場合、18 FPSと30 FPSはどちらもデフォルト値から同じ距離にあるため、30 FPSを優先します）。音声付きテキストから動画生成と音声付き画像から動画生成のサブモダリティでは音声出力を有効にしてモデルをベンチマークし、それ以外のデフォルト設定はすべて適用します。
テキストから動画生成
テキストから動画生成モデルは、テキストプロンプトのみを入力として受け取ります。プロンプトは、厳選された再現可能なプロンプトセットから抽出します。
画像から動画生成
画像から動画生成モデルは、参照画像と、対応している場合は付随するテキストプロンプトを受け取ります。ベンチマークで使用する参照画像は、次の基準に従います。
- 形式： PNG（可逆圧縮）。非可逆圧縮による圧縮アーティファクトを避けるため、JPG/JPEGは使用しません。
- 解像度： 1920×1080（16:9、目標とする動画解像度と同じ）。
- バイト送信へのフォールバック： プロバイダーがURLを受け付けない場合、または特定のサイズや形式を要求する場合は、画像をダウンロードして必要な変換を施し、バイトデータを直接アップロードします。
- アップロード時間： 生成前の工程としてプロバイダーのプラットフォームへの画像アップロードが必要な場合、そのアップロード時間を生成時間に含めます。
生成時間のテスト方法
主な技術的詳細：
- 実行頻度： テキストから動画生成を毎日1回、無作為な時刻に実行します。
- サンプルサイズ： 主要指標として示す生成時間は、直近14日間に成功した測定値の中央値です。毎日実行するため、テキストから動画生成では通常、1つの期間につきホストごとに約14サンプルが蓄積されます。
- プロンプトの選択： 実行ごとに、厳選されたデータベースのプールから1つのプロンプトを無作為に抽出し、有効なすべてのホストモデルへ送信します。
- シード： モデルがシードパラメーターを公開している場合は、実行間で出力を再現できるよう、固定シード42を使用します。
- エンドツーエンドの計測： 生成時間は、最初のAPI呼び出しから完成した動画のダウンロードまでをエンドツーエンドで測定します。非同期API（送信、ポーリング、ダウンロード）を使うプロバイダーでは、キュー待機、推論、ダウンロードを含みます。
- APIモード： 測定するキュー待機時間にポーリング間隔ではなくプロバイダーの実時間が反映されるよう、100ミリ秒ごとにジョブの状態をポーリングします。
- 対象範囲： 現在、生成時間は無音のテキストから動画生成モデルと画像から動画生成モデルについてのみ測定しています。動画編集と3つの音声付きモダリティ（音声付きテキストから動画生成、音声付き画像から動画生成、音声付き動画編集）はVideo Arena（品質Elo）で順位付けしていますが、現時点では遅延のベンチマークを行っていません。
- 集計： 外れ値を除外せず、成功した測定値の未加工の分布から中央値、p05、p25、p75、p95を計算します。
- 測定しない項目： プロバイダーのコールドスタート遅延、認証ハンドシェイク、再試行のオーバーヘッド、クライアントのウォームアップは測定しません。データセットの各エントリは、単発の測定1回分です。
- インフラストラクチャ： us-central1のGoogle Cloud Runで実行します。
- 新規エンドポイント： 一般公開前にベンチマークしたものを含む新規エンドポイントでは、結果を掲載する前に生成時間の分布を構築するため、ベンチマークの実行頻度を調整する場合があります。公開結果は直近14日間の測定値から算出するため、新たに掲載したエンドポイントの数値には初期の実行結果が反映され、その後の測定値が蓄積するにつれて変化する可能性があります。
モデルとプロバイダーの掲載基準
当社の目的は、人気が高く高性能な動画生成モデルを分析・比較し、ユーザーの選択を支援することです。そのため、業界での重要性と競争力のある性能を検証し、新しいモデルやプロバイダーを掲載するか評価します。これらの基準は継続的に改善しており、ご意見やご提案を歓迎します。モデルやプロバイダーを提案するには、お問い合わせページからご連絡ください。
独立性に関する声明
ベンチマークは、厳格な独立性と客観性のもとで実施します。Artificial Analysisへの掲載または有利な結果の対価として、プロバイダーから報酬を受け取ることはありません。