Artificial Analysisの言語モデルAPI性能ベンチマーク方法論

概要

LLMの性能を測定するには、LLMにプロンプトを送信し、その出力の特性を測定する必要があります。複数のテストワークロードにわたって性能を測定しています。

ワークロードの種類

ワークロードの種類説明
入力1kトークン入力約1,000トークンの単一リクエスト
入力10kトークン入力約10,000トークンの単一リクエスト
入力100kトークン入力約100,000トークンの単一リクエスト
マルチターンのエージェントコーディング、ナレッジワーク、オートメーションの評価から取った、複数ターンにわたるエージェントタスク

負荷

本番環境でのエンドポイントの性能をより適切に表すため、すべてのワークロードを同時実行の負荷の下で測定します。

テスト頻度

  • ベンチマークは6時間ごとに、さまざまなワークロードで実行します
  • 非推奨モデルのエンドポイントは18時間ごとに測定します

プロンプト生成

各実行では、大規模で多様なセットからプロンプトとタスクを取り出し、同じものをその実行のすべてのエンドポイントに送信するため、すべてのエンドポイントを同じ作業で比較できます。

単一リクエストのプロンプトは、長文の入力コンテンツとさまざまなタスクを組み合わせたもので、各ワークロードの目標入力長を満たす長さにしています。

投機的デコーディングなどの手法により、出力の種類によって出力速度が変化するため、性能ベンチマークではプロンプトの多様性が重要です。

マルチターンのワークロードでは、コーディング、ナレッジワーク、オートメーションの評価から取ったエージェントタスクを実行ごとにランダムに選ぶため、タスクは実行ごとに変わります。

測定値の表現

各実行について、ワークロードごとにサンプルの中央値を取ります。サンプルはリクエスト、マルチターンのワークロードではセッションです。エンドポイントのワークロードごとの値は、過去5日間の実行の中央値の平均です。

エンドポイントの主要な出力速度、最初の回答トークンまでの時間、最初のトークンまでの時間は、ワークロードの平均です。各ワークロードの重みは同じです。コンテキストウィンドウより長いプロンプトや、関数呼び出しに対応していないエンドポイントでのツール呼び出しワークロードなど、エンドポイントで測定値のないワークロードがある場合は、測定したワークロードで平均します。

モデルの速度とレイテンシの数値は、そのモデルの代表エンドポイントのものです。代表エンドポイントは通常モデル開発元自身のAPIで、料金にも同じエンドポイントを使用します。代表エンドポイントがない場合、または過去5日間にその測定値がない場合は、モデルの測定済みエンドポイント間の中央値を使用します。

主要な定義

  • 最初の回答トークンまでの時間:サービスまたはシステムにリクエストを送信してから、レスポンスの最初の回答トークンを受信するまでの秒数。推論モデルでは推論にかかった時間を含むため、最初のトークンまでの時間と異なり、推論モデルと非推論モデルで回答までの待ち時間を同じ基準で測定できます。マルチターンのワークロードでは、セッション内のターンの平均を取ります。
  • 最初のトークンまでの時間:サービスまたはシステムにリクエストを送信してから、レスポンスの最初のトークンを受信するまでの秒数。推論トークンを返す推論モデルでは、最初の推論トークンまでの時間となります。マルチターンのワークロードでは、セッション内のターンの平均を取ります。
  • 出力速度(1秒あたりの出力トークン数):リクエストの送信から最後のトークンの受信までのリクエスト全体の所要時間において、1秒あたりに受信する出力トークン(推論トークンを含む)の数。そのため、最初のトークンまでの時間を含みます。マルチターンのセッションでは、セッションの出力トークン数を、エンドポイントがリクエストへの応答にかけた時間で割ります。リクエスト間でツールの実行にかかる時間は含みません。
  • エンドツーエンド時間:リクエストを送信してから最後のトークンを受信するまでの秒数で、リクエストごとに測定します。マルチターンのセッションでは、セッション内のリクエストの合計で、リクエスト間でツールの実行にかかる時間は含みません。
  • エンドポイントのエラー率:過去5日間にエンドポイントへ送ったリクエストのうち、エンドポイント側で失敗したものの割合。マルチターンのセッションは1件のリクエストとして数え、そのいずれかのリクエストが失敗すると失敗とみなします。無効なAPIキー、クレジットの枯渇や当社アカウントの利用枠、無効またはコンテキストウィンドウを超えるとして拒否されたリクエスト、回答の前に当社のmax_tokens上限で打ち切られたレスポンス、安全性によるブロック、サンドボックスのエラーなど、エンドポイントに起因しない失敗は除外します。エンドポイントのレート制限、タイムアウト、ベンチマークの期限に実行中だったリクエストなど、エンドポイント側のエラーは含めます。ワークロードをまたいでリクエストを合算してから割ります。
  • キャッシュヒット率:キャッシュ可能な入力トークンのうち、プロバイダーのプロンプトキャッシュから提供された割合。マルチターンのエージェント型セッション中にプロバイダーのAPIが報告する値に基づきます。各エンドポイントについて、直近の測定値に基づく代表的なキャッシュヒット率を報告します。

技術的な詳細

サーバーの所在地:ベンチマークはGoogle Cloud Runのus-central1リージョンで実行します。

テストアカウント:匿名アカウント、クレジット付きアカウント、ベンチマーク専用に提供されたAPIキーを組み合わせてテストを実施します。主要なベンチマークに匿名アカウントを使用しない場合は、別の匿名アカウントを登録し、性能が操作されていないことを検証します。

APIライブラリ:OpenAI APIとの互換性をうたうすべてのプロバイダーでは、テスト間の一貫性を確保するため、OpenAI公式のPythonライブラリを使用します。OpenAI互換ではないプロバイダーでは、そのプロバイダーが推奨するクライアントライブラリを使用します。

キャッシュヒット率の測定:キャッシュヒット率は、キャッシュ可能な入力トークンのうちキャッシュから読み取られた割合です。マルチターンのワークロードで測定します。

APIパラメーター:次のAPIパラメーターを使用します。

  • 推論モデルではtemperature: 0.6、非推論モデルではtemperature: 0。ただし、モデル作成者による別の指定がある場合を除きます。
  • 単一リクエストワークロードではtop_p: 1。ただし、モデル作成者による別の指定がある場合を除きます
  • max_tokensはエンドポイントの出力トークン上限以下(上限は65,536、推論が長くなりがちなエンドポイントでは128,000)

トークン測定:出力トークンは、各プロバイダーのAPIが報告する場合はその数をカウントします。推論トークンは、APIがそのテキストを返すかどうかにかかわらず含めます。プロバイダーが報告しない場合は、レスポンスのテキストからカウントします。Artificial Analysis Intelligence Indexの評価でも、各モデルのAPIプロバイダーが報告するトークン数(キャッシュ済み入力、推論、出力の各トークンを含む)を使用します。これにより、Intelligence Indexの実行費用をより正確に報告できます。キャッシュヒット率と費用を報告する際は、評価実行時の一度きりの測定値に依存せず、これらを各モデルの通常のキャッシュヒット率のライブ測定値と組み合わせます。

失敗の扱い:サーバーエラー、レート制限(429)、タイムアウトなど、エンドポイント側で失敗したリクエストは出力速度0として扱います。失敗した、または定期実行内に完了しなかったマルチターンのセッションでは、エンドポイントが応答したリクエストのみを集計し、応答が1件もない場合は0とします。無効なAPIキー、クレジットの枯渇や当社アカウントの利用枠、サンドボックスのエラーなど、当社側の失敗は除外します。

既知の制約

量子化:一部のモデルは、計算要件を削減して速度を向上させるために量子化を使用しています。ただし、量子化はモデルの品質にも影響する可能性があります。ベンチマーク対象モデルが使用する量子化手法の完全な開示に向けて取り組んでいます。量子化などの提供方法の選択が品質に与える影響を測るため、多くのプロバイダーが提供する特に重要なオープンウェイトモデルの一部について、Endpoint Accuracy Indexも実施しています。

サーバーの所在地とレイテンシ:最初の回答トークンまでの時間と最初のトークンまでの時間にはネットワーク遅延が含まれるため、サーバーの所在地の影響を受けます。ベンチマークはGoogle Cloudのus-central1リージョンで実行しているため、プロバイダーのサーバー所在地によっては有利または不利になる可能性があります。この影響を軽減するため、テスト拠点の追加を検討しています。

バージョン履歴

バージョン3.0.0

2026年11月3日

  • ワークロード:単一リクエストのワークロードに加えて、コーディングとナレッジワークの評価から取った、ツール呼び出しを伴うマルチターンのエージェントワークロードを追加し、すべてを同じ持続的な負荷の下で測定します。これらはビジョンワークロードと、単一プロンプトおよび並列プロンプトの負荷シナリオに代わるものです。
  • 主要な出力速度:主要な出力速度は、過去5日間に測定したワークロードの平均になりました(従来は過去72時間の入力10kトークンのワークロードの中央値)。
  • エンドツーエンドの出力速度:出力速度は、最初のトークンまでの時間を含め各リクエストの全所要時間を対象とし、マルチターンのセッションではツールの実行にかかる時間を除外するようになりました。
  • レイテンシ:最初の回答トークンまでの時間とエンドツーエンド時間を、リクエストごとに測定するようになりました(従来は平均推論トークン数と出力速度から推定)。
  • トークンのカウント:出力トークンは、各プロバイダーのAPIが報告する数をカウントします(従来はtiktoken o200k_base)。
  • エンドポイントのエラー率:各エンドポイントのリクエストのうち、エンドポイント側で失敗したものの割合を報告するようになりました。
  • 失敗:エンドポイント側の失敗は出力速度0として扱うようになり、当社側の失敗は除外します。
  • 頻度:ベンチマークは6時間ごとに実行します(従来は3時間ごと)。
  • プロンプトオプション:「プロンプトオプション」ページを廃止しました。ワークロード別のチャートで各ワークロードの結果を確認できます。

バージョン2.2.0

2026年3月2日

  • プロンプトの更新:より広範で多様なコンテンツと、より幅広いタスクの種類を含む、新しいプロンプトセットを導入しました。投機的デコーディングなどの手法により、出力の種類によって出力速度が変化するため、プロンプトの多様性は重要です。
  • デフォルトワークロードの変更:当サイトのデフォルト速度は、入力10kトークンのプロンプト(従来は1k)の結果を反映するようになり、入力100トークンのワークロードの性能測定は廃止しました。入力1k、10k、100kトークンのすべてのワークロードは、各ページの「プロンプトオプション」ドロップダウンで引き続き表示できます。ワークロードの形状ごとの出力速度を比較する最も簡単な方法は、「入力トークン数別の出力速度」チャートを使用することです。

公正性に関する規約

背景

Artificial Analysisは、独立系のAIベンチマークおよびインサイトプロバイダーです。当社のベンチマークは数百万人のユーザーや組織に利用されています。

Artificial Analysisで公開するすべてのデータが公正かつ透明であり、対象とするモデルやエンドポイントを利用する開発者や組織の一般的な体験を代表するものとなるよう努めています。当社の推論ベンチマークデータは、速度、遅延、品質などの観点から推論プロバイダーを比較する際の基準として広く利用されています。これらの測定値は、プロバイダーの標準的な公開エンドポイントを使用する一般的な開発者の体験を反映することで初めて価値を持ちます。

本規約は、Artificial Analysisが推論性能のベンチマークを開始して以来採用してきた方針を明文化するものです。Artificial Analysisでサーバーレスエンドポイントのデータを公開するすべての推論プロバイダーおよびプラットフォーム(以下、総称して「プロバイダー」)に等しく適用され、すべてのプロバイダーが同じ公正な条件で測定されることを保証します。

プロバイダーの要件

Artificial Analysisからのトラフィックは、一般の開発者がそのエンドポイントを使用する際に提供されるものと同じ公開設定で処理されなければなりません。特に、プロバイダーは次の行為をしてはなりません。

  • Artificial Analysisのトラフィックを、アカウント、APIキー、IPアドレス、リクエストヘッダー、ペイロード、トラフィックパターンなどによって検出、フィンガープリント、その他の方法で識別し、一般のトラフィックとは異なる方法で処理すること。
  • Artificial Analysisのトラフィックを、一般には利用できない個別のハードウェア、容量プール、優先キュー、地理的リージョンなど、専用、予約済み、または非公開のリソースに振り分けること。
  • 同じ名称で公に宣伝され、一般に利用できるものとは異なるモデル、量子化、コンテキスト長、またはエンドポイント設定をArtificial Analysisに提供すること。
  • 同じエンドポイントの一般的なトラフィックを代表しないバッチサイズ、同時実行数、または負荷設定でArtificial Analysisのトラフィックを処理すること(例:リクエスト単位の速度を上げるため、ベンチマークのリクエストを小さいバッチサイズで実行すること)。

要請に応じて、プロバイダーはArtificial Analysisのトラフィックを処理するモデルのバージョン、精度または量子化、コンテキスト長を確認し、それらが標準の公開サービスと一致することを確認しなければなりません。また、あるエンドポイントがArtificial Analysisによって測定されていることを知るすべての従業員、請負業者、アドバイザー、関係者が本ポリシーを遵守するよう徹底しなければなりません。

標準の公開サービスに含まれ、すべての開発者が同等の条件で利用できる性能機能(例:自動スケーリング、一般提供されているキャッシュ、すべての顧客が利用できる公開済みの階層)は、Artificial Analysisのトラフィックにだけ選択的に適用されない限り、違反にはなりません。

遵守確認プロセス

Artificial Analysisは、独自の裁量でエンドポイントとプロバイダーを掲載します。本規約を遵守しないエンドポイントまたはプロバイダーの掲載を取り消す権利、および理由を問わず掲載を拒否、保留、削除する権利を留保します。

測定するすべてのエンドポイントに対して、頻繁に一貫性を確認しています。標準的な運用として、Artificial Analysisの主要アカウントと独立したテストアカウントを並行して測定します。いずれのアカウントも、一般の開発者と同じ方法で作成、使用します。同一のペイロードと同一のエンドポイントで結果に重大な差が生じた場合は、結論を出す前に調査します。

Artificial Analysisのトラフィックが標準の公開サービスとは異なる方法で処理されていることを検出した場合、または合理的に疑われる場合、次の措置を講じることがあります。

  • 影響を受けた測定値の公開を保留、削除、延期する。
  • 標準的な方法で一般に作成したアカウントで再測定し、その結果を公開する。
  • 性能リーダーボードおよび掲載一覧からエンドポイントまたはプロバイダーを削除する。
  • すべてのリーダーボードでプロバイダーの掲載を停止する。
  • プロバイダーがArtificial Analysisに対して一般的な状況を代表しない性能を提供したことを公表する。

Artificial Analysisにエンドポイントを提出することにより、プロバイダーは本規約およびベンチマークの公正性を維持するという共通の責任を認めるものとします。Artificial Analysisは、本ポリシーを随時更新することがあります。

ご協力に感謝します。ご質問や懸念事項がある場合は、当社チームまでお問い合わせください。