AA-AgentPerfの方法論

概要

AA-AgentPerfは、現実的なエージェント型ワークロードにおいて、推論環境の総スループットと各エージェントが得る速度のトレードオフを測定するハードウェアベンチマークです。

• 実際のエージェント軌跡：推論、ツール呼び出し、可変長のコンテキストを交互に含むマルチターンのコーディングセッション（合成された均一なプロンプトではありません）。
• 持続的な同時実行負荷：シミュレートした各エージェントがテストフェーズ全体を通じてアクティブな状態を保ち、KVキャッシュの再利用、投機的デコーディング、スケジューラーの動作に負荷をかけます。
• ライブリーダーボード：結果は随時公開します。新しいハードウェアは利用可能になり次第追加し、新しいソフトウェアスタックやモデルバージョンでは既存のシステムを再測定します。
• 本番環境に対応：現実的な最適化を有効にし、本番規模のデプロイ構成でモデルをテストします。

データセット

AA-AgentPerfデータセットには、複数のユースケース、プログラミング言語、モデルを網羅した実際のエージェント軌跡が含まれています。軌跡は、推論を有効にした主要な3つのオープンソースモデル（DeepSeek V3.2、GLM 4.7、Kimi K2.5）をOpenCodeエージェントハーネスで使用し、実在する公開コードリポジトリの課題を解決するよう指示して生成しました。すべての軌跡に、交互に行われる推論とツール呼び出しが含まれます。

• 入力シーケンス長（ISL）：約5K～約131Kトークンで、平均は約27Kトークンです。軌跡は、テスト対象モデルで推奨される最大コンテキスト長に収まるよう切り詰めます。
• 出力シーケンス長（OSL）：出力長はターンごとに大きく異なります。単純なツール呼び出しなど短い出力を生成するターンもあれば、モデルが応答または処理を行う前に長い推論を伴うターンもあります。
• 言語：ソースリポジトリの主要言語を基準に、12以上のプログラミング言語が含まれています。Pythonのリポジトリが最も多く、TypeScript、Goが続きます。
• ツール呼び出しの遅延：各ツール呼び出しの後に、呼び出したツール別に分けた実際のツール呼び出し時間の分布からサンプリングした、メッセージごとの固定遅延によって処理時間をシミュレートします。遅延は0.1秒未満から5秒までで、中央値は約1秒です。

構成の検証と性能チューニングのため、18,997件のプロンプトからなる500件の固有軌跡を代表的なチューニング用サブセットとしてテスト参加者に提供します。ベンチマークに特化した最適化を防ぐため、完全なテストデータセットは非公開としています。

パレートフロンティア

結果はシステムごとに、サーバー総スループットとリクエスト単位の出力速度のパレートフロンティアとして公開します。各点は1つのサービング構成を1つの同時実行数で測定した結果で、フロンティアには、同じシステムの他の構成にスループットと速度の両方で上回られていない点を残します。

速度と遅延はいずれも、リクエスト単位で計算します。エージェント型ワークロードにはOSLの短いリクエストが多数含まれるため、グラフではデフォルトでP25出力速度を使用し、各フェーズで送信された全リクエストからパーセンタイルを計算します。

テストの実行

各環境は、あらかじめ決めた一連の同時実行数で測定し、同時実行数ごとに1つのフェーズを実行して、定常状態におけるトークンのタイミング情報から指標を計算します。各フェーズは、少なくとも30件の軌跡が完了し、シミュレートしたすべてのエージェントが少なくとも3件の軌跡を完了し、定常状態での測定時間が少なくとも10分経過するまで実行します。エージェントへの軌跡の割り当てはフェーズ間で決定論的です。各フェーズでは軌跡の先頭に動的に生成したプレフィックスを追加し、フェーズ間でのプレフィックスキャッシュを無効にします。max_tokensを16Kに設定することで、モデルが反復ループに陥った個別のリクエストによって結果が歪むのを防ぎます。

各モデルは、開発元が推奨するサンプリングパラメーターと、利用可能な最大の推論強度でテストします（DeepSeek V4.1 Flash、DeepSeek V4 Pro 0813、Kimi K3、GLM-5.2、GLM-5.3ではmax、Muse Spark Openではxhigh）。その他のすべてのパラメーターはデフォルトに設定します。

指標と結果

各テストフェーズでは、次の指標を計算します。

• 最初のトークンまでの時間（TTFT）：リクエストの送信から最初の出力トークンを受信するまでの、リクエスト単位の遅延。
• 出力速度：最初のトークンを受信した後に測定する、リクエスト単位の1秒あたりの出力トークン数。
• サーバー総スループット：サーバーが報告する、同時実行中の全エージェントを合計した1秒あたりの入力・出力トークン数。入力には、KVキャッシュから提供されたプロンプトトークンも含まれます。

すべての指標は、目標同時実行数において全エージェントが少なくとも30秒間アクティブだった定常状態の期間に限定します。速度指標には、推論フレームワークが返す使用状況メタデータのサーバー側トークン数を使用し、候補モデルのネイティブトークナイザーによるローカルでのトークン化と照合します。稼働中のテストでは、各アクセラレーターの消費電力を測定します。主要な結果であるサーバー総スループットは、MWあたり、アクセラレーターあたり、およびアクセラレーターの1時間あたりのレンタル料金（ドル）あたりに正規化します。MWあたりの数値には、定格TDPではなく、負荷時に測定したアクセラレーターの消費電力（GPUダイ + HBM）を使用します。レンタル料金にはSilicon Dataの価格を使用し、Silicon Dataが価格を提供していないチップには当社の推定値を使用します。

結果は、プロバイダーが開示した完全なシステム構成とともに、Artificial Analysisのリーダーボードで公開します。プロバイダーは公開前に、事実関係の正確性を確認するため結果をレビューできます。

評価申請

AA-AgentPerfの評価にシステムを提供することに関心があり、まだ当社と連絡を取っていないハードウェアベンダーの方は、agentperf@artificialanalysis.aiまでご連絡ください。