画像生成ベンチマークの方法論
対象範囲と背景
Artificial Analysisでは、通常サーバーレスAPIエンドポイントを通じて提供される画像生成モデルをベンチマークしています。このページでは、画像生成モデルの品質、速度、料金を測定する方法を説明します。
画像生成機能については、次の2つのモダリティを扱います。
- テキストから画像：テキストプロンプトのみから画像を生成するモデル。
- 画像編集：テキストプロンプトに基づいて参照画像を変更するモデル。
エンドポイントの対象範囲
対象ワークロード：推論ベンチマークは、テキストから画像を生成するエンドポイントを対象とします。
公開サーバーレスエンドポイントのみ：ベンチマークは、現在または今後一般公開される真のサーバーレスエンドポイントを対象とします。デモ製品、ハードウェアのショーケース、専用または非公開のデプロイは対象外です。
Standard／Modifiedエンドポイント
各エンドポイントを、ネイティブモデルを完全な忠実度で提供し、標準の入力パラメーターを公開するStandard（標準）、または通常は生成速度の向上やコスト削減を目的に、出力の忠実度へ影響する形でネイティブモデルから変更されたModified（変更済み）のいずれかに分類します。
ModifiedエンドポイントにはArtificial Analysis上で「Modified」と表示し、デフォルトのリーダーボード表示では非表示にする場合があります。表示を選択したユーザーは引き続き確認できます。デフォルトベンチマークの公平性を保つため、蒸留、ネイティブモデルの入力パラメーターの一部のみの公開、出力品質の著しい低下などを指標として、エンドポイントをModifiedに分類するかどうか、および同一モデルのバリエーションをいくつ掲載するかは、当社の裁量で決定します。
デフォルトの生成設定
各モデルが公開しているデフォルト設定を使用して画像を生成します。ファーストパーティAPIではAPIドキュメントに記載されたデフォルト、オープンソースモデルではオープンソースリポジトリのデフォルトを使用します。これには、推論ステップ数、ガイダンススケール、デフォルトのネガティブプロンプトの動作が含まれます。モデル間を公平に比較できるよう、次の正規化を適用します。
- 各モデルが対応する最高解像度で生成し、アリーナで提供する際に1024×1024へ縮小します。
- プロンプトごとに1枚の画像を生成します。
- アスペクト比は1:1を使用します。
- シードは42を使用します。
画像編集モデルでは、各プロンプトに厳選したセットの参照画像を組み合わせます。
主要指標
画像生成モデルの品質、性能、料金を追跡するために、次の指標を使用します。
品質Elo
各モデルのEloスコアは、Image Arenaでのユーザー投票から算出した相対的な品質を示します。レーティングはBradley-Terry最尤推定法で計算し、読みやすいようEloに似た範囲へ再スケーリングしています。
アリーナでは同じモダリティの出力同士だけを組み合わせるため、各モダリティを個別に採点します。
1,000枚あたりの料金
プロバイダーが設定する生成画像1枚あたりの料金（USD）を1,000倍したものです。
各プロバイダーが公開している画像1枚あたりの料金をそのまま使用します。
生成時間
プロバイダーが1枚の画像を生成するのに要した時間の中央値です。過去14日間の測定値から算出します。
画像はバッチサイズ1で生成します。画像レスポンスではなくURLが提供される場合、生成時間にはプロバイダーから画像をダウンロードする時間も含まれます。URLは生成の完了前に発行される可能性があるため、エンドユーザーの遅延を反映するためです。
生成時間のテスト方法
主な技術的詳細：
- 実施頻度：ベンチマークは毎日ランダムな時刻に4回実行します。
- サンプルサイズ：主要指標の生成時間は、直近14日間の成功した測定値の中央値です。通常、各期間においてホストモデルごとに約56サンプルとなります。
- 計測対象：各測定では、1枚の画像に対するリクエストのライフサイクル全体を計測します。APIリクエスト、プロバイダーでの推論、インラインのレスポンス本文またはURLからディスクへのダウンロードが含まれます。プロバイダーがURLを返す場合、画像の書き込みが完了する前にURLが発行されることが多いため、実際のエンドユーザーの遅延を反映するためバイト列のダウンロードも計測します。
- 固有のプロンプト：厳選したプールから呼び出しごとに新しいプロンプトを生成し、プロバイダーが実行間でキャッシュ済みのレスポンスを返せないようにします。
- 解像度：1024×1024で生成します。モデルが対応する最小解像度が1024×1024より高い場合は、1024×1024に最も近い対応解像度のうち最小のものを使用します。
- APIモード：利用可能な場合は、プロバイダーの同期エンドポイントを使用します。非同期のみのプロバイダーでは100ミリ秒ごとにジョブの状態をポーリングし、測定するキュー待機時間にポーリング間隔ではなく、プロバイダーで実際に要した時間を反映します。
- 集計：外れ値を除外せず、成功した測定値の生の分布から中央値、p05、p25、p75、p95を計算します。
- 無効にするプロバイダー機能：APIで対応している場合、透かしと安全性チェックを無効にし、生成速度に関係のない遅延変動の要因を取り除きます。
- 計測対象外：プロバイダーのコールドスタート遅延、認証ハンドシェイク、再試行のオーバーヘッド、クライアントのウォームアップは計測しません。データセットの各項目は、単発の測定1回分です。
- インフラストラクチャ：Google Cloudのus-central1で実行します。
- 新しいエンドポイント：一般公開前にベンチマークしたものを含む新規追加エンドポイントでは、結果を掲載する前に生成時間の分布を構築するため、ベンチマークの頻度を調整する場合があります。公開結果は直近14日間の測定値から計算するため、新たに掲載したエンドポイントの数値には初期の実行結果が反映され、測定値が蓄積するにつれて変化する可能性があります。
モデルとプロバイダーの掲載基準
当社は、人気があり高性能な画像生成モデルを分析・比較し、ユーザーの選択に役立てることを目指しています。そのため、業界での重要性と競争力を検証し、新しいモデルやプロバイダーの掲載可否を評価します。基準は継続的に改善しており、ご意見やご提案を歓迎します。モデルやプロバイダーを提案するには、お問い合わせページからご連絡ください。
独立性に関する声明
ベンチマークは、厳格な独立性と客観性をもって実施しています。Artificial Analysisへの掲載や好意的な結果の見返りとして、プロバイダーから報酬を受け取ることはありません。