Artificial Analysisの言語モデルAPI性能ベンチマーク方法論

概要

LLMの性能を測定するには、LLMにプロンプトを送信し、その出力の特性を測定する必要があります。LLMの性能をテストして測定するため、さまざまなテストワークロードを使用しています。

ワークロードの種類

ワークロードの種類	説明
入力1kトークン	約1,000入力トークン、1,000以上の回答トークン
入力10kトークン	約10,000入力トークン、1,500以上の回答トークン（当サイトのデフォルトベンチマーク）
入力100kトークン	約100,000入力トークン、2,000以上の回答トークン
ビジョンワークロード	1メガピクセルの画像1枚と約1,000入力トークン、1,000出力トークン

プロンプトが長いほど、短いプロンプトと比べて最初のトークンまでの時間が長くなり、1秒あたりの出力トークン数も低下する可能性があります。

負荷シナリオ

負荷シナリオ	説明
単一プロンプト	モデルのAPIに一度に1つのプロンプトを送信
並列プロンプト	モデルのAPIに10個のプロンプトを同時送信

テスト頻度

入力1kトークン、入力10kトークン、ビジョンの各ワークロードを、約3時間ごとに1日8回テストします
複数または並列ワークロードのテストでは、標準の入力1kトークンワークロードを使用した10件の同時リクエストを、ランダムな時刻に1日1回送信します
入力100kトークンのワークロードは週1回テストします

プロンプト生成

個々のテスト実行では毎回、テスト時に生成した一意のプロンプトを、対象とするすべてのエンドポイントで実行します。プロンプトは、記事などのさまざまな長文入力コンテンツと、説明／要約、質問と回答の生成、比較分析、翻訳、ビジュアル成果物の生成などの多様なタスクを組み合わせたものです。

生成プロセスのパラメーターは、目標トークン予算を満たすよう設定し、さまざまな推論能力と生成能力を試す多様な出力を生成します。

投機的デコーディングなどの手法により、出力の種類によって出力速度が変化するため、性能ベンチマークではプロンプトの多様性が重要です。

測定値の表現

性能測定値は、ユーザーがAPIの使用時に体験すると見込まれる継続的な性能変化を反映するため、過去72時間の中央値（P50）として表します。例外は入力100kトークンのプロンプト長ワークロードです。これは週1回テストし、過去14日間の測定値の中央値（P50）として表します。

主要な定義

最初のトークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初のトークンを受信するまでの秒数。推論トークンを返す推論モデルでは、最初の推論トークンまでの時間となります。
最初の回答トークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初の回答トークンを受信するまでの秒数。推論モデルでは、「思考」時間の後から測定します。
出力速度（1秒あたりの出力トークン数）：最初のトークンを受信した後、1秒あたりに受信するトークンの平均数。
100出力トークンの合計応答時間：100出力トークンを生成するのにかかる秒数。比較に最大限活用できるよう、TTFTと出力速度に基づいて合成的に算出します。
エンドツーエンド応答時間：入力の処理時間、モデルの推論時間、回答の生成時間を含め、完全なレスポンスを受信するまでの合計時間。
平均推論トークン：推論モデルが回答を提供する前に「推論」トークンを出力する時間。多様な60個のプロンプトで出力された「推論」トークン数の平均に基づいて算出します。推論トークンの平均数が利用できない、または未算出の場合は、2k推論トークンと仮定します。プロンプトの長さはさまざまで、個人的な質問、商用の質問、コーディング、数学、科学など、幅広いトピックをカバーします。プロンプトはArtificial Analysisが作成したものと、MMLU Pro、AIME 2025、LiveCodeBenchの各評価から取得したものを組み合わせています。これらのプロンプトはこちらから確認できます。

技術的な詳細

サーバーの所在地：主要テストサーバーは、Google Cloudのus-central1-aゾーンでホストされている仮想マシンです。

テストアカウント：匿名アカウント、クレジット付きアカウント、ベンチマーク専用に提供されたAPIキーを組み合わせてテストを実施します。主要なベンチマークに匿名アカウントを使用しない場合は、別の匿名アカウントを登録し、性能が操作されていないことを検証します。

APIライブラリ：OpenAI APIとの互換性をうたうすべてのプロバイダーでは、テスト間の一貫性を確保するため、OpenAI公式のPythonライブラリを使用します。OpenAI互換ではないプロバイダーでは、そのプロバイダーが推奨するクライアントライブラリを使用します。

APIパラメーター：すべてのテストで次のAPIパラメーターを使用します。

推論モデルではtemperature: 0.6、非推論モデルでは、モデル作成者による別の指定がない限りtemperature: 0。
top_p: 1

トークン測定：トークンの測定には2つの方法を使用します。

性能ベンチマークでは、OpenAIのtiktokenライブラリ（o200k_base）によるトークン数を測定します。これにより、異なるトークナイザーを使うモデル間でもトークン数の計測を統一し、同じテキストを同じトークン数として扱えます。
Artificial Analysis Intelligence Indexの評価では、代わりに各モデルのAPIプロバイダーが報告するトークン数（キャッシュ済み入力、推論、出力の各トークンを含む）を使用します。これにより、Intelligence Indexの実行費用をより正確に報告できます。キャッシュヒット率と費用を報告する際は、評価実行時の一度きりの測定値に依存せず、これらを各モデルの通常のキャッシュヒット率のライブ測定値と組み合わせます。

出力速度の算出：レスポンス内ですべての推論トークンを開示しない推論モデルでは、回答チャンクの最後の80%を使用して出力速度を算出します。これにより、測定した出力速度の一貫性を確保し、ユーザー体験をより正確に反映できます。

トークナイザーの効率と料金：モデルによって使用するトークナイザーが異なるため、同じテキストを表すのに必要なトークン数に差が生じることがあります。このため、モデル間で料金を常に直接比較できるとは限りません。トークナイザーの効率と、それが料金に与える影響について、さらに詳しい情報の公開に取り組んでいます。それまでの参考として、トークナイザーの効率で調整した料金の予備分析をTwitterで共有しています。

量子化：一部のモデルは、計算要件を削減して速度を向上させるために量子化手法を使用しています。ただし、量子化はモデルの品質にも影響する可能性があります。ベンチマーク対象モデルが使用する量子化手法の完全な開示に向けて取り組んでいます。

サーバーの所在地とTTFT：最初のトークンまでの時間（TTFT）にはネットワーク遅延が含まれるため、サーバーの所在地の影響を受けます。主要テストサーバーはGoogle Cloudのus-central1-aゾーンにあるため、プロバイダーのサーバー所在地によっては有利または不利になる可能性があります。この影響を軽減するため、テスト拠点の追加を検討しています。

バージョン履歴

バージョン2.2.0

2026年3月2日

プロンプトの更新：より広範で多様なコンテンツと、より幅広いタスクの種類を含む、改良版のプロンプトセットを導入しました。投機的デコーディングなどの手法により、出力の種類によって出力速度が変化するため、これは重要です。
デフォルトワークロードの変更：当サイトのデフォルト速度は、入力10kトークンのプロンプト（従来は1k）の結果を反映するようになり、入力100トークンのワークロードの性能測定は廃止しました。入力1k、10k、100kトークンのすべてのワークロードは、各ページの「プロンプトオプション」ドロップダウンで引き続き表示できます。ワークロードの形状ごとの出力速度を比較する最も簡単な方法は、「入力トークン数別の出力速度」チャートを使用することです。

公正性に関する規約

背景

Artificial Analysisは、独立系のAIベンチマークおよびインサイトプロバイダーです。当社のベンチマークは広く参照され、数百万人のユーザーや組織に利用されています。

Artificial Analysisで公開するすべてのデータが公正かつ透明であり、対象とするモデルやエンドポイントを利用する開発者や組織の一般的な体験を代表するものとなるよう努めています。当社の推論ベンチマークデータは、速度、遅延、品質などの観点から推論プロバイダーを比較する際の基準として広く利用されています。これらの測定値は、プロバイダーの標準的な公開エンドポイントを使用する一般的な開発者の体験を反映することで初めて価値を持ちます。

本規約は、Artificial Analysisが推論性能のベンチマークを開始して以来採用してきた方針を明文化するものです。Artificial Analysisでサーバーレスエンドポイントのデータを公開するすべての推論プロバイダーおよびプラットフォーム（以下、総称して「プロバイダー」）に等しく適用され、すべてのプロバイダーが同じ公正な条件で測定されることを保証します。

プロバイダーの要件

Artificial Analysisからのトラフィックは、一般の開発者がそのエンドポイントを使用する際に提供されるものと同じ公開設定で処理されなければなりません。特に、プロバイダーは次の行為をしてはなりません。

Artificial Analysisのトラフィックを、アカウント、APIキー、IPアドレス、リクエストヘッダー、ペイロード、トラフィックパターンなどによって検出、フィンガープリント、その他の方法で識別し、一般のトラフィックとは異なる方法で処理すること。
Artificial Analysisのトラフィックを、一般には利用できない個別のハードウェア、容量プール、優先キュー、地理的リージョンなど、専用、予約済み、または非公開のリソースに振り分けること。
同じ名称で公に宣伝され、一般に利用できるものとは異なるモデル、量子化、コンテキスト長、またはエンドポイント設定をArtificial Analysisに提供すること。
同じエンドポイントの一般的なトラフィックを代表しないバッチサイズ、同時実行数、または負荷設定でArtificial Analysisのトラフィックを処理すること（例：リクエスト単位の速度を上げるため、ベンチマークのリクエストを小さいバッチサイズで実行すること）。

要請に応じて、プロバイダーはArtificial Analysisのトラフィックを処理するモデルのバージョン、精度または量子化、コンテキスト長を確認し、それらが標準の公開サービスと一致することを確認しなければなりません。また、あるエンドポイントがArtificial Analysisによって測定されていることを知るすべての従業員、請負業者、アドバイザー、関係者が本ポリシーを遵守するよう徹底しなければなりません。

標準の公開サービスに含まれ、すべての開発者が同等の条件で利用できる性能機能（例：自動スケーリング、一般提供されているキャッシュ、すべての顧客が利用できる公開済みの階層）は、Artificial Analysisのトラフィックにだけ選択的に適用されない限り、違反にはなりません。

遵守確認プロセス

Artificial Analysisは、独自の裁量でエンドポイントとプロバイダーを掲載します。本規約を遵守しないエンドポイントまたはプロバイダーの掲載を取り消す権利、および理由を問わず掲載を拒否、保留、削除する権利を留保します。

測定するすべてのエンドポイントに対して、頻繁に一貫性を確認しています。標準的な運用として、Artificial Analysisの主要アカウントと独立したテストアカウントを並行して測定します。いずれのアカウントも、一般の開発者と同じ方法で作成、使用します。同一のペイロードと同一のエンドポイントで結果に重大な差が生じた場合は、結論を出す前に調査します。

Artificial Analysisのトラフィックが標準の公開サービスとは異なる方法で処理されていることを検出した場合、または合理的に疑われる場合、次の措置を講じることがあります。

影響を受けた測定値の公開を保留、削除、延期する。
標準的な方法で一般に作成したアカウントで再測定し、その結果を公開する。
性能リーダーボードおよび掲載一覧からエンドポイントまたはプロバイダーを削除する。
すべてのリーダーボードでプロバイダーの掲載を停止する。
プロバイダーがArtificial Analysisに対して一般的な状況を代表しない性能を提供したことを公表する。

Artificial Analysisにエンドポイントを提出することにより、プロバイダーは本規約およびベンチマークの公正性を維持するという共通の責任を認めるものとします。Artificial Analysisは、本ポリシーを随時更新することがあります。

ベンチマークの公正性維持へのご協力に感謝します。ご質問や懸念事項がある場合は、当社チームまでお問い合わせください。