Artificial Analysisのベンチマーク方法論

対象範囲

Artificial Analysisは、AIモデル、推論APIエンドポイント、システムの知能、品質、性能、料金をベンチマークしています。当サイトのこのセクションでは、品質と性能のベンチマークを含む、当社のベンチマーク方法論を説明します。

言語モデルのベンチマークでは、顧客がシステムへのアクセスに固定料金を支払うのではなく、使用量に対してのみ料金を支払うエンドポイントをサーバーレスとみなします。通常、これはエンドポイントの料金がトークン単位で設定され、多くの場合、入力トークンと出力トークンで料金が異なることを意味します。

すべてのモダリティで、性能ベンチマークはAI推論サービスやシステムの顧客が体験するエンドツーエンドの性能を測定します。したがって、ベンチマーク結果は特定のハードウェアプラットフォームで実現可能な最大性能を示すものではなく、プロバイダー全体で顧客が体験する実環境の性能を示すものです。

独自モデルとオープンウェイトモデルの両方をベンチマークします。

方法論の詳細

用語の定義

このページおよびArtificial Analysisのサイト全体では、次の用語を使用します。

• モデル： 独自モデル、オープンソースモデル、オープンウェイトモデルを含む大規模言語モデル（LLM）。
• モデル作成者： モデルを開発し、学習させた組織。たとえば、OpenAIはGPT-4、MetaはLlama 3の作成者です。
• エンドポイント： APIを通じてアクセスできる、ホストされたモデルのインスタンス。1つのモデルに、異なるプロバイダーが提供する複数のエンドポイントが存在する場合があります。
• システム： AIモデルを実行するための専用コンピューティング環境。通常はVMなどのプロビジョニング済みインフラストラクチャで、負荷がかかった状態での性能をベンチマークできます。
• プロバイダー： 1つ以上のモデルエンドポイントまたはシステムをホストし、アクセスを提供する企業。OpenAI、AWS Bedrock、Together.aiなどが該当します。企業がモデル作成者とプロバイダーの両方を兼ねることもよくあります。
• サーバーレス： 使用量に応じて提供されるクラウドサービス。LLM推論APIでは通常、入出力トークン単位で料金が設定されていることを意味します。サーバーレスのクラウド製品も、実際にはサーバー上で動作しています。
• オープンウェイト： モデル作成者が重みを一般公開しているモデル。多くのオープンLLMは、オープンソースソフトウェアの完全な定義を満たさないライセンスで公開されているため、当社では「オープンソース」ではなく「オープンウェイト」、または単に「オープン」モデルと呼びます。
• トークン： 現代のLLMの基礎となる、単語や文字の数値表現。LLMはトークンを入力として受け取り、トークンを出力として生成します。入力テキストはトークナイザーによってトークンに変換されます。LLMによって使用するトークナイザーは異なります。
• OpenAIトークン： OpenAIのGPT-3.5およびGPT-4のトークナイザーが生成するトークン。Artificial Analysisのベンチマークでは通常、OpenAIのPython用tiktokenパッケージ（o200k_baseトークナイザー）で測定します。モデル間を公平に比較できるよう、Artificial Analysis全体の標準測定単位としてOpenAIトークンを使用しています。「1秒あたりのトークン数」の指標はすべてOpenAIトークンを指します。
• ネイティブトークン： LLM固有のトークナイザーが生成するトークン。「OpenAIトークン」と区別するために「ネイティブトークン」と呼びます。通常、料金はネイティブトークンを基準とします。
• 料金（入力／出力）： モデルに送信される入力トークン、およびモデルから受信する出力トークンごとにプロバイダーが請求する料金。表示される料金は、プロバイダーが現在掲載しているものです。
• 料金（ブレンド）： 比較しやすくするため、キャッシュヒット、入力、出力の各トークンが7:2:1の比率であると仮定し、ブレンド料金を算出します。
• タスクあたりの費用： Artificial Analysis Intelligence Indexの1タスクを完了するための加重平均費用（USD）。入力、キャッシュ済み、出力の各トークン料金にワークロード全体で消費したトークン数を掛け、Intelligence Indexで使用される各ベンチマークの重みで加重した後、タスク数で割って算出します。料金には、プロバイダーのファーストパーティーAPI料金、または全プロバイダーの中央値を使用します。キャッシュ費用はプロバイダーによって異なります。費用は実際のトークン使用量を反映するため、トークン単価が同じでも、長い回答や多くの推論トークンを生成するモデルほど、タスクあたりの費用が高くなります。

  ここで、i = Artificial Analysis Intelligence Indexの各ベンチマーク、w = Indexにおけるそのベンチマークの重み

• 最初のトークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初のトークンを受信するまでの秒数。推論トークンを返す推論モデルでは、最初の推論トークンまでの時間となります。
• 最初の回答トークンまでの時間：サービスまたはシステムにリクエストを送信してから、レスポンスの最初の回答トークンを受信するまでの秒数。推論モデルでは、「思考」時間の後から測定します。
• 出力速度（1秒あたりの出力トークン数）：最初のトークンを受信した後、1秒あたりに受信するトークンの平均数。
• 100出力トークンの合計応答時間：100出力トークンを生成するのにかかる秒数。比較に最大限活用できるよう、TTFTと出力速度に基づいて合成的に算出します。
• エンドツーエンド応答時間：入力の処理時間、モデルの推論時間、回答の生成時間を含め、完全なレスポンスを受信するまでの合計時間。
• 平均推論トークン：推論モデルが回答を提供する前に「推論」トークンを出力する時間。多様な60個のプロンプトで出力された「推論」トークン数の平均に基づいて算出します。推論トークンの平均数が利用できない、または未算出の場合は、2k推論トークンと仮定します。プロンプトの長さはさまざまで、個人的な質問、商用の質問、コーディング、数学、科学など、幅広いトピックをカバーします。プロンプトはArtificial Analysisが作成したものと、MMLU Pro、AIME 2025、LiveCodeBenchの各評価から取得したものを組み合わせています。これらのプロンプトはこちらから確認できます。