Artificial Analysis Progress Index v1

Artificial Analysis Progress Index v1は、2022年以降の言語モデルを単一の能力尺度で表す指標です。標準化テストの採点に使われる統計手法である項目反応理論を用いて、廃止された評価やIntelligence Indexに含まれたことのない評価を含む当社の評価結果から、モデルごとに1つの汎用能力スコアを推定します。

Intelligence Indexは、現在の開発者にとって最も関連性の高い評価で構成されるため、評価の追加や廃止に伴って構成が変わり、異なるバージョンのスコアは比較できません。今使うモデルを選ぶにはIntelligence Indexを、能力の推移を見るにはProgress Index v1をご利用ください。

Progress Index v1は、モデルを単一の能力尺度に位置づける先行研究、特にEpoch AIのEpoch Capabilities Indexと、AnthropicがClaude Mythos Previewのシステムカードで公開した能力尺度に基づいています。

方法論

ラボ別の最先端

Artificial Analysis Progress Index v1の推移

Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown

Nov 2022Oct 2026

Artificial Analysis Progress Index v1 は、項目反応理論を用いて算出しています。この手法では、私たちが実施したベンチマークの結果から、モデルの能力とタスクの難易度を同時に推定します。これにより、異なるベンチマークで評価されたモデルを時系列で比較できます。

どのモデルがタスクに成功し、どのモデルが失敗したかからタスクの難易度を推定すると同時に、各モデルのさまざまなタスクでの結果からその能力を推定します。

例えば、古いモデルは比較的易しいベンチマークで、新しいモデルはより難しいベンチマークで評価されているかもしれません。両方のベンチマーク群で評価されたモデルの結果を使うことで、難易度の差を推定し、古いモデルと新しいモデルを同じ尺度で比較できます。

各ラボの線は、その時点で利用可能なそのラボのモデルのうち、最もスコアが高いモデルを示します。各モデルには、effort 設定の異なるバリアントのうち最もスコアが高いものを使用します。Progress Index v1 の算出方法を読む。