Coding Agent Indexの方法論

概要

当社では、エンドツーエンドのソフトウェアエンジニアリングタスクでコーディングエージェントをベンチマークしています。現実的なコーディング作業をエージェントがどの程度完遂できるか、また成果、信頼性、トークン使用量、コスト、実行時間によって性能がどう異なるかを測定します。

Coding Agent Indexページの公開結果は、タスク単位のベンチマーク試行から構築され、評価ごとのスコア、効率性指標、Coding Agent Indexに集約されます。

このページでは、公開されているCoding Agent Indexの構築方法、現在含まれているベンチマーク構成要素、公開されるスコア、コスト、トークン使用量、実行時間の各指標の算出方法を説明します。

Artificial Analysis Coding Agent Index

コーディングエージェントの性能は、リポジトリに関するQ&A、実装やバグ修正のタスク、ターミナル操作が中心のワークフローで異なります。指数はそれらを1つのスコアにまとめ、ベンチマークごとのスコアも併せて公開しています。

Artificial Analysis Coding Agent Index v2.1 は、FrontierCode-AA 2.0、Terminal-Bench 4.1、SWE-Atlas-QnA-AA のスコアを等しい重みで平均したものです。

指数の構成要素

現在の公開指数には、次のベンチマーク構成要素が含まれています。

評価分野タスクタスクあたりの試行回数回答形式採点
FrontierCode-AA 2.0ソフトウェアエンジニアリング1323コードパッチ / リポジトリの変更ブロッキングチェックに失敗した場合は0点、それ以外は70〜100%
Terminal-Bench 4.1エージェントによるターミナル操作663ターミナルベースのタスク実行テストスイートのpass/fail、pass@1
SWE-Atlas-QnA-AAリポジトリに関するQ&A1243自由回答Scale AI Task Resolve Rate(バイナリpass/fail)、pass@1
FrontierCode-AA 2.0
実在するオープンソースリポジトリへの変更を、メンテナーがマージするかどうかで評価します。FrontierCode-AA 2.0 は、Cognition の FrontierCode 2.0 と同じ132タスク、テスト、ルーブリック、整合性チェックを使用します。ルーブリックの LLM ジャッジには GPT-6 Luna (medium) を使用し、タスクごとに3回試行します。タスクは公開されていません。FrontierCode の検証器は、ブロッキングチェックと非ブロッキングチェックからなるルーブリックで各試行を採点します。ブロッキングチェックに1つでも失敗した試行は0点となり、すべて通過した試行は、満たした非ブロッキングチェックに応じて70%から100%の間のスコアとなります。エージェントはインターネットにアクセスできます。また、整合性チェックにより、元のプルリクエストやそのマージコミットなど、アップストリームの解答を調べていたことが判明した試行も0点とします。
Terminal-Bench 4.1
ソフトウェアエンジニアリング、機械学習、科学計算、セキュリティ、システム管理にまたがるターミナル操作のタスクです。バージョン 4.1 は、バージョン 4.0 の66タスク、指示、エージェント環境を維持したまま、信頼性と報酬ハッキングへの耐性を高めるためにタスクの検証器を更新しています。採点時にエージェントのコードを実行するタスクでは、そのコードを信頼されていないユーザーとして別プロセスで実行するようになり、正しい解答を不合格にしていた検証器も修正されました。各試行の保存済み出力をバージョン 4.1 の検証器で採点し、検証器が採点できない場合や、スコアの変化が検証器の実行ごとのばらつきによる場合は、その試行はバージョン 4.0 のスコアを維持します。
SWE-Atlas-QnA-AA
エージェントがコードを追跡し、その動作を説明する必要があるリポジトリに関する質問です。SWE-Atlas-QnA-AA は、Scale AI の SWE-Atlas-QnA の採点方法に当社が調整を加えたものです。124 件のタスクと 1,306 件のルーブリック基準は同一で、そのうち 127 件は判定の一貫性を高めるために文言を調整し、GPT-6 Luna (xhigh) を評価モデルとして各基準につき 5 回の投票で判定します。データセットと評価モデルの設定は Hugging Face で公開しています。

評価対象タスク

現在の公開指数は、3件のベンチマーク構成要素にわたる322件の評価対象タスクを網羅しています。

FrontierCode-AA 2.0:評価対象タスク132件(非公開)

Indexの集約対象

当社では、エージェントの各バリアントについて、含まれるベンチマーク構成要素ごとにスコアを計算し、それらのスコアを公開指数に集約します。スコアは、Terminal-Bench 4.1とSWE-Atlas-QnA-AAではpass@1、FrontierCode-AA 2.0では平均スコアです。

同じベンチマークスイートは、ベンチマークページに公開する実行コスト、トークン使用量、実行時間などの効率性指標の基礎にもなっています。したがって、性能と効率性のビューは、無関係な実行結果ではなく、同じベンチマークの対象範囲を反映しています。

採点と結果

試行の結果

SWE-Atlas-QnA-AA では、Scale AI の Task Resolve Rate(タスク解決率)を使用します。これは、エージェントの回答がルーブリックの全項目を満たしたタスクの割合です。リポジトリの追跡対象ファイルに変更があるタスクは不合格となります。

評価ごとのスコア

各タスクの3回の試行スコアを平均し、さらにタスク間で平均することで、各タスクの重みを均等にします。

エラーとなった試行、タスクの制限時間を超えた試行、安全上の理由による拒否によってブロックされた試行は、すべてのベンチマークで0点とします。

安全性拒否

安全性拒否とは、プロバイダーまたはモデルが安全上の理由でタスクの続行を拒否することです。着手前に拒否される場合も、途中まで進んでから拒否される場合もあります。Coding Agent Indexを構成するベンチマークには、脆弱性の発見や悪用といったセキュリティ関連の作業が含まれており、これらは安全性拒否が発生しやすい作業です。プロバイダーによる拒否は決定論的なルールで、モデルによる拒否はLLMジャッジで判定します。

コーディングエージェントの安全性拒否への対処は2通りあります。

  • ブロック:プロバイダーの安全上の理由によるエラー、またはモデルの拒否によって試行が終了することです。プロバイダーの安全上の理由によるエラーはエラーとして扱い、その繰り返しが完了するまで最大10回まで再実行します。再実行がすべてブロックされた場合、その繰り返しは0点になります。試行を終了させるモデルの拒否は0点で完了とし、再実行はしません。
  • フォールバック:エージェントが自動的に別のモデル、多くの場合は能力の低いモデルに切り替え、その試行を完了します。完了した試行は他の試行と同様に採点します。

各ベンチマークの率は、採点対象のタスク試行のうちいずれかの種類の安全性拒否が発生した試行の割合です。採点対象として残された試行のみを数え、再試行によって置き換えられた試行は除きます。指数の率は、現在の指数スコアと同様に、各ベンチマークを均等に重み付けします。ブロックされた試行はすべて0点になるため、指数のブロック率は、安全性拒否によってモデルの指数スコアが失った可能性のある最大値です。ブロック率が2%であれば、安全性拒否がなければ指数スコアは最大で2ポイント高くなっていた可能性があります。

報酬ハッキング

報酬ハッキングとは、エージェントがタスクの測る能力を示さないまま報酬を得ることです。たとえば採点用のテストを書き換えたり、自力で解かずに公開済みの解答を取得したりする場合です。

全タスク試行のうち、ベンチマークに合格したものの、その後に報酬ハッキングによって0点となった試行の割合を報告します。すでに不合格だった試行で報酬ハッキングが検出されても、この率には影響しません。再試行で置き換えられた試行は除外し、合格したすべての試行の公正性レビューが完了してから率を報告します。

FrontierCode-AA 2.0とTerminal-Bench 4.1では、評価の公正性を確認する方法が異なります。報酬ハッキング率は各ベンチマーク内で解釈してください。

FrontierCode-AA 2.0

FrontierCode-AA 2.0では、CognitionのルールベーススキャナーとLLMジャッジを使用します。スキャナーは、各試行の軌跡を一連の決定論的なフラグと照合します。一部のフラグは、該当した試行をただちに0点にします。参照解答の使用、元のプルリクエストへのアクセス、上流リポジトリの解答コードの取得がこれにあたります。リポジトリのミラーからの取得など、より弱いフラグは、合格した試行をジャッジ(Claude Opus 5.5)に回します。ジャッジはその証拠を確認し、スコアを0点にすることがあります。報酬ハッキング率に計上されるのは、本来であれば合格していた試行のみです。

Terminal-Bench 4.1

Terminal-Benchはリーダーボード整合性アップデートに基づきこうした試行を0点とし、当社も同じルールを適用しています。検出された試行が報酬ハッキング率に計上されるのは、整合性チェック前に、そのタスクで必須となる自動チェックにすべて合格していた場合のみです。

Terminal-Bench 4.1では、エージェントが次の行為をした試行を報酬ハッキングとして検出します。

  • テストファイルを編集する、ベリファイアの報酬ファイルに直接書き込む、またはその他の方法で採点メカニズムやテストハーネスを操作する
  • タスクに同梱された参照解答にアクセスする、またはコピーする
  • ウェブ検索やフェッチツール、curlやwget、リポジトリのクローン、データセットやモデルのダウンロードなどにより、外部ソースからタスクの参照解答や期待出力を取得する
  • 実際には計算していない採点値を再現する

通常のネットワーク利用は問題ありません。パッケージのインストールやドキュメントの参照はタスク解決の正常な一部です。何も見つからない検索も同様です。解答を検索して見つけられず、その後自力で答えを導いたエージェントは、報酬ハッキングをしたことにはなりません。

Terminal-Benchの決定的なベリファイアを通過したすべての試行は、エージェントジャッジがHarborのharbor analyzeコマンドで審査します。エージェントジャッジはエージェントの全軌跡(実行したすべてのコマンドと受け取ったすべての応答)を、タスク本体、そのテスト、参照解答とあわせて読みます。ハッキングと判定された試行は0点となります。

エージェントジャッジはClaude CodeとClaude Sonnet 5を実行します。これはTerminal-Benchが自身のリーダーボード検査に使うものと同じエージェントとモデルです。そのプロンプトはHarbor組み込みのreward_hacking基準を使用し、私たちはこれを環境の外部から取得した解答まで対象に含めるよう拡張しています。プロンプトの全文は以下のとおりです。

効率性指標

コスト、トークン使用量、実行時間はタスクあたりの値として示します。ベンチマークごとに、各タスクの試行を平均し、さらにタスク間で平均することで、各タスクの重みを均等にします。指数の値は、指数スコアと同様に、各ベンチマークを均等に重み付けします。

  • 実行コスト:コンシューマー向けプランではなく、プロバイダーのトークン料金に基づく、タスクあたりの従量制APIコストの平均。
  • トークン使用量:タスクあたりの入力、キャッシュ、キャッシュ書き込み、推論、出力トークンの平均。
  • 実行時間:タスクあたりの経過時間の平均。タスク全体の経過時間と、取得可能な場合はそのうちエージェントが動作していた時間を含みます。

特定の指標でテレメトリが欠けている場合、その値をゼロとして扱わず、該当する平均値から除外します。

コストは、Artificial Analysis Intelligence Index の評価と同じ方法で算出します。各モデルの API プロバイダーが報告したトークン数を使用します。コストを掲載する際は、評価実行時の1回限りの測定値に依存するのではなく、これらのトークン数とモデルの標準的なキャッシュヒット率のライブ測定値を組み合わせます。プロバイダーがプロンプトのキャッシュ状態を作成する際に課金する場合は、キャッシュ書き込み料金を含めます。エージェントのログからトークン数を再構成できない場合や、モデルの料金がプロンプトの長さによって変わる場合は、実行時に記録されたコストを掲載します。

エージェント設定

公開されている各行は、モデルではなくエージェントのバリアントです。推論設定を含め、動作を変える設定は別々の行として掲載します。

新しい評価やエージェントのバリアントが追加されるにつれて、ベンチマークの方法は変化する可能性があります。ただし、公開比較は、公開ベンチマークスイート内で同等条件のエージェントバリアントを反映することを意図しています。

バージョン履歴

バージョン2.1

2026年11月~現在

  • Terminal-Bench 4.0 を Terminal-Bench 4.1 に更新しました。同じ 66 タスクを、信頼性と報酬ハッキングへの耐性を高めた新しい検証器で採点します
  • FrontierCode v1.1 を、Cognition の FrontierCode 2.0 を当社が実装した FrontierCode-AA 2.0 に置き換えました。132 タスクで、Cognition の整合性スキャナーと LLM ジャッジにより報酬ハッキングを検出します
  • コストの算出方法を Intelligence Index の評価に合わせました。プロバイダーが報告したトークン数と、各モデルの標準的なキャッシュヒット率のライブ測定値を組み合わせます

バージョン2.0

2026年10月~11月

  • DeepSWE v1.1 を Cognition の FrontierCode v1.1 に置き換えました。実在するオープンソースリポジトリでの100件のソフトウェアエンジニアリングタスクで、メンテナーが変更をマージするかどうかで評価します
  • SWE-Atlas-QnA の名称を SWE-Atlas-QnA-AA に変更し、Scale AI の採点方法に調整を加えました。GPT-6 Luna (xhigh) を評価モデルとして各基準につき 5 回の投票で判定し、127 件のルーブリック基準の文言を調整。Hugging Face で公開

バージョン1.5

2026年9月~10月

  • Terminal-Bench 2.1 を Terminal-Bench 4.0 に置き換え、より難しい 66 のターミナルタスク、更新された環境と検証器、見直された計算資源と時間の上限を採用しました
  • DeepSWE を v1.0 から v1.1 に更新し、同じ 113 タスクを維持しつつ、実行環境を更新し、コミットされたパッチを独立した検証環境で採点するようにしました
  • SWE-Atlas-QnA の採点を Scale AI が公開している方法に合わせ、124 のリポジトリ Q&A タスクで Claude Opus 4.5 を評価モデルとして使用

バージョン1.4

2026年8月~9月

  • Terminal-Bench 2.0をTerminal-Bench 2.1へ更新し、89タスクの全セットを対象化
  • Terminal-Benchの整合性手法に沿ったリワードハッキング検出を追加し、リワードハッキングと判定された試行は0点
  • 推論トークンを出力トークンに含めて報告するエージェントについて、トークン集計の方法を改定

バージョン1.3

2026年7月~2026年8月

  • SWE-Atlas-QnAのバイナリpass/fail採点を改善し、Scale AIのTask Resolve Rate評価手法に整合

バージョン1.2

2026年7月

  • SWE-Atlas-QnAの採点をルーブリック報酬からバイナリpass/failに変更し、タスクを正解と判定するにはルーブリックの全基準への合格を必須化

バージョン1.1

2026年6月~2026年7月

  • DeepSWE(長期的なソフトウェアエンジニアリング)を追加
  • Coding Agent IndexからSWE-Bench-Pro-Hard-AAを削除

バージョン1.0

2026年5月~2026年6月

  • SWE-Bench-Pro-Hard-AA(コード生成)、Terminal-Bench 2.0(エージェントによるターミナル操作)、SWE-Atlas-QnA(リポジトリに関するQ&A)を含む初回リリース