Artificial Analysisのベンチマーク方法論
対象範囲
Artificial Analysisは、AIモデル、推論APIエンドポイント、システムの知能、品質、性能、料金をベンチマークしています。当サイトのこのセクションでは、品質と性能のベンチマークを含む、当社のベンチマーク方法論を説明します。
言語モデルのベンチマークでは、顧客がシステムへのアクセスに固定料金を支払うのではなく、使用量に対してのみ料金を支払うエンドポイントをサーバーレスとみなします。通常、これはエンドポイントの料金がトークン単位で設定され、多くの場合、入力トークンと出力トークンで料金が異なることを意味します。
すべてのモダリティで、性能ベンチマークはAI推論サービスやシステムの顧客が体験するエンドツーエンドの性能を測定します。したがって、ベンチマーク結果は特定のハードウェアプラットフォームで実現可能な最大性能を示すものではなく、プロバイダー全体で顧客が体験する実環境の性能を示すものです。
独自モデルとオープンウェイトモデルの両方をベンチマークします。
言語モデルの知能
音声・画像・動画・音楽
推論
その他
用語の定義
このページおよびArtificial Analysisのサイト全体では、次の用語を使用します。
- モデル： 独自モデル、オープンソースモデル、オープンウェイトモデルを含む大規模言語モデル（LLM）。
- モデル作成者： モデルを開発し、学習させた組織。たとえば、OpenAIはGPT-4、MetaはLlama 3の作成者です。
- エンドポイント： APIを通じてアクセスできる、ホストされたモデルのインスタンス。1つのモデルに、異なるプロバイダーが提供する複数のエンドポイントが存在する場合があります。
- システム： AIモデルを実行するための専用コンピューティング環境。通常はVMなどのプロビジョニング済みインフラストラクチャで、負荷がかかった状態での性能をベンチマークできます。
- プロバイダー： 1つ以上のモデルエンドポイントまたはシステムをホストし、アクセスを提供する企業。OpenAI、AWS Bedrock、Together.aiなどが該当します。企業がモデル作成者とプロバイダーの両方を兼ねることもよくあります。
- サーバーレス： 使用量に応じて提供されるクラウドサービス。LLM推論APIでは通常、入出力トークン単位で料金が設定されていることを意味します。サーバーレスのクラウド製品も、実際にはサーバー上で動作しています。
- オープンウェイト： モデル作成者が重みを一般公開しているモデル。多くのオープンLLMは、オープンソースソフトウェアの完全な定義を満たさないライセンスで公開されているため、当社では「オープンソース」ではなく「オープンウェイト」、または単に「オープン」モデルと呼びます。
- トークン： 現代のLLMの基礎となる、単語や文字の数値表現。LLMはトークンを入力として受け取り、トークンを出力として生成します。入力テキストはトークナイザーによってトークンに変換されます。LLMによって使用するトークナイザーは異なります。
- ネイティブトークン： LLM固有のトークナイザーが数え、多くの場合プロバイダーのAPIが報告するトークン。通常、料金はネイティブトークンを基準とし、出力速度などの当社のパフォーマンス指標もネイティブトークンで数えます。
- 料金（入力／出力）： モデルに送信される入力トークン、およびモデルから受信する出力トークンごとにプロバイダーが請求する料金。表示される料金は、プロバイダーが現在掲載しているものです。
- 料金（ブレンド）： 比較しやすくするため、キャッシュヒット、入力、出力の各トークンが7:2:1の比率であると仮定し、ブレンド料金を算出します。
- タスクあたりの費用： Artificial Analysis Intelligence Indexの1タスクを完了するための加重平均費用（USD）。入力、キャッシュ済み、出力の各トークン料金にワークロード全体で消費したトークン数を掛け、Intelligence Indexで使用される各ベンチマークの重みで加重した後、タスク数で割って算出します。料金には、プロバイダーのファーストパーティーAPI料金、または全プロバイダーの中央値を使用します。キャッシュ費用はプロバイダーによって異なります。費用は実際のトークン使用量を反映するため、トークン単価が同じでも、長い回答や多くの推論トークンを生成するモデルほど、タスクあたりの費用が高くなります。
ここで、i = Artificial Analysis Intelligence Indexの各ベンチマーク、w = Indexにおけるそのベンチマークの重み
- タスクあたりの時間： Artificial Analysis Intelligence Indexの1タスクを完了するまでの推定加重平均時間。各ベンチマークについて、タスクあたりの回答トークンと推論トークンをモデルの出力速度で割り、Intelligence Indexで使用される各ベンチマークの重みで加重します。出力速度はAPIパフォーマンスベンチマークの値で、各リクエストの全所要時間における1秒あたりの出力トークン数を、過去5日間に測定したワークロードで平均したものです。モデルの代表エンドポイント（通常はモデル開発元自身のAPIで、料金にも使用）で測定し、代表エンドポイントがない場合やその測定値がない場合は、モデルの測定済みエンドポイント間の中央値を使用します。プロバイダーのページなど、エンドポイントごとのタスクあたりの時間を示す場合は、そのエンドポイント自体の出力速度を使用します。タスクあたりの時間は評価実行を計測せず、トークン数と速度から算出するため、代表的なAPI速度を反映します。
ここで、i = Artificial Analysis Intelligence Indexの各ベンチマーク、w = Indexにおけるそのベンチマークの重み、Output Speed = モデルの出力速度（1秒あたりのトークン数）
- 最初の回答トークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初の回答トークンを受信するまでの秒数。推論モデルでは推論にかかった時間を含むため、最初のトークンまでの時間と異なり、推論モデルと非推論モデルで回答までの待ち時間を同じ基準で測定できます。マルチターンのワークロードでは、セッション内のターンの平均を取ります。
- 最初のトークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初のトークンを受信するまでの秒数。推論トークンを返す推論モデルでは、最初の推論トークンまでの時間となります。マルチターンのワークロードでは、セッション内のターンの平均を取ります。
- 出力速度（1秒あたりの出力トークン数）：リクエストの送信から最後のトークンの受信までのリクエスト全体の所要時間において、1秒あたりに受信する出力トークン（推論トークンを含む）の数。そのため、最初のトークンまでの時間を含みます。マルチターンのセッションでは、セッションの出力トークン数を、エンドポイントがリクエストへの応答にかけた時間で割ります。リクエスト間でツールの実行にかかる時間は含みません。
- エンドツーエンド時間：リクエストを送信してから最後のトークンを受信するまでの秒数で、リクエストごとに測定します。マルチターンのセッションでは、セッション内のリクエストの合計で、リクエスト間でツールの実行にかかる時間は含みません。
- エンドポイントのエラー率：過去5日間にエンドポイントへ送ったリクエストのうち、エンドポイント側で失敗したものの割合。マルチターンのセッションは1件のリクエストとして数え、そのいずれかのリクエストが失敗すると失敗とみなします。無効なAPIキー、クレジットの枯渇や当社アカウントの利用枠、無効またはコンテキストウィンドウを超えるとして拒否されたリクエスト、回答の前に当社のmax_tokens上限で打ち切られたレスポンス、安全性によるブロック、サンドボックスのエラーなど、エンドポイントに起因しない失敗は除外します。エンドポイントのレート制限、タイムアウト、ベンチマークの期限に実行中だったリクエストなど、エンドポイント側のエラーは含めます。ワークロードをまたいでリクエストを合算してから割ります。
- キャッシュヒット率：キャッシュ可能な入力トークンのうち、プロバイダーのプロンプトキャッシュから提供された割合。マルチターンのエージェント型セッション中にプロバイダーのAPIが報告する値に基づきます。各エンドポイントについて、直近の測定値に基づく代表的なキャッシュヒット率を報告します。