指数

AA-Omniscience v1.1AutomationBench-AATerminal-Bench 4.0FrontierCode 2.0GDP.pdfHLE-DiamondCritPt v2 (Hard Subset)Terminal-Bench-Science 0.1
Updated

Artificial Analysis Intelligence Index v5.0.1

A composite benchmark aggregating nine challenging evaluations to provide a holistic measure of AI capabilities across knowledge work, coding, science, and general knowledge.

ビジネスコーディング人文科学金融法律医療科学数学エージェント知識労働ツール利用文章作成推論指示追従忠実性マルチモーダル長文コンテキスト
Artificial Analysis Progress Index v1
New

Artificial Analysis Progress Index v1

時間が経っても一貫した単一の尺度で表す言語モデルの能力です。項目反応理論で推定しているため、数年離れて公開されたモデルも比較できます。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index

エンドツーエンドのソフトウェアエンジニアリングタスクにおけるコーディングエージェントのパフォーマンスを測る複合指数です。エージェント、モデル、実行設定ごとに比較します。

コーディングエージェントツール利用推論指示追従
Artificial Analysis Search Index

Artificial Analysis Search Index

エージェント型検索における Search API の品質を測る複合指数です。すべてのプロバイダーを同じ回答モデルと組み合わせ、各プロバイダーがもたらす向上分を測定します。

忠実性推論エージェントツール利用
Cyber Index Alliance Launch ArticleCWE-bench (Collinear AI)DeepsecBench (Vercel)CyberGym-E2E (Berkeley RDI)

Artificial Analysis Cyber Index

A composite index of model capability on cyber defense, combining three evaluations of finding and fixing vulnerabilities in real software repositories.

コーディングエージェントツール利用推論
AA-Omniscience-DecisionHLE-MultiChoiceWhen2CallWildGuardTest
New

Artificial Analysis Decision Index

A composite index testing decision models across classification, tool calling, knowledge and reasoning.

人文科学ビジネス金融法律医療科学数学忠実性推論ツール利用
Open Source Models

Artificial Analysis Openness Index

A composite measure providing an industry standard to communicate model openness for users and developers.

AA-Omniscience v1.1HLE-DiamondAutomationBench-AAGDP.pdf

Finance & Accounting Index

ビジネス知識、エージェント型知識作業、推論、エージェント型ツール利用、長文脈分析、非ハルシネーションを含む、財務・会計分野の性能を測定します。

金融ビジネスエージェント知識労働推論忠実性ツール利用長文コンテキスト
AutomationBench-AAAA-Omniscience v1.1GDP.pdf

Strategy & Ops Index

ビジネス知識、エージェント型知識作業、業務アプリでのエージェント型ツール利用、長文脈分析、非ハルシネーションを含む、戦略・オペレーション分野の性能を測定します。

ビジネスエージェントツール利用知識労働長文コンテキスト忠実性
AA-Briefcase v1.1HLE-DiamondGDP.pdfAutomationBench-AA

Legal Index

法的知識、エージェント型知識作業、推論、長文脈文書分析、非ハルシネーション、エージェント型ツール利用を含む、法務分野の性能を測定します。

法律エージェント知識労働推論忠実性長文コンテキストツール利用
AA-Briefcase v1.1MLCR-AAAutomationBench-AAHLE-Diamond

Healthcare & Medical Index

臨床知識、エージェント型知識作業、患者記録に対する長文脈推論、非ハルシネーション、臨床推論、エージェント型ツール利用を含む、医療・ヘルスケア分野の性能を測定します。

医療エージェント知識労働長文コンテキストツール利用忠実性推論
AA-Briefcase v1.1CritPt v2 (Hard Subset)Terminal-Bench-Science 0.1HLE-DiamondTerminal-Bench 4.0FrontierCode 2.0

Engineering Index

工学知識、科学、推論、エージェント型コーディング、エージェント型知識作業を含む、エンジニアリング分野の性能を測定します。

科学推論エージェントコーディング知識労働
AA-Briefcase v1.1HLE-DiamondGDP.pdf

Economics Index

経済学知識、定量的推論、エージェント型実行、長文脈分析を含む、経済学分野の性能を測定します。

ビジネスエージェント知識労働推論長文コンテキスト