指数

AA-Omniscience v1.1AutomationBench-AATerminal-Bench 4.0FrontierCode 2.0GDP.pdfHLE-DiamondCritPt v2 (Hard Subset)Terminal-Bench-Science 0.1
Updated

Artificial Analysis Intelligence Index v5.0.1

A composite benchmark aggregating nine challenging evaluations to provide a holistic measure of AI capabilities across knowledge work, coding, science, and general knowledge.

商业编程人文学科金融法律医疗科学数学智能体知识工作工具使用写作推理指令遵循忠实性多模态长上下文
Artificial Analysis Progress Index v1
New

Artificial Analysis Progress Index v1

在随时间保持一致的同一量表上衡量语言模型能力,采用项目反应理论估计,因此可以比较相隔数年发布的模型。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index

衡量编程智能体在端到端软件工程任务中表现的综合指数,并在不同智能体、模型和执行设置之间进行比较。

编程智能体工具使用推理指令遵循
Artificial Analysis Search Index

Artificial Analysis Search Index

衡量 Search API 在智能体检索中质量的综合指数,每家服务商都搭配同一个回答模型,以衡量其带来的提升。

忠实性推理智能体工具使用
Cyber Index Alliance Launch ArticleCWE-bench (Collinear AI)DeepsecBench (Vercel)CyberGym-E2E (Berkeley RDI)

Artificial Analysis Cyber Index

A composite index of model capability on cyber defense, combining three evaluations of finding and fixing vulnerabilities in real software repositories.

编程智能体工具使用推理
AA-Omniscience-DecisionHLE-MultiChoiceWhen2CallWildGuardTest
New

Artificial Analysis Decision Index

A composite index testing decision models across classification, tool calling, knowledge and reasoning.

人文学科商业金融法律医疗科学数学忠实性推理工具使用
Open Source Models

Artificial Analysis Openness Index

A composite measure providing an industry standard to communicate model openness for users and developers.

AA-Omniscience v1.1HLE-DiamondAutomationBench-AAGDP.pdf

Finance & Accounting Index

衡量模型在财务与会计领域的表现,包括商业知识、智能体知识工作、推理、智能体工具使用、长上下文分析和避免幻觉。

金融商业智能体知识工作推理忠实性工具使用长上下文
AutomationBench-AAAA-Omniscience v1.1GDP.pdf

Strategy & Ops Index

衡量模型在战略与运营领域的表现,包括商业知识、智能体知识工作、跨商业应用的智能体工具使用、长上下文分析和避免幻觉。

商业智能体工具使用知识工作长上下文忠实性
AA-Briefcase v1.1HLE-DiamondGDP.pdfAutomationBench-AA

Legal Index

衡量模型在法律领域的表现,包括法律知识、智能体知识工作、推理、长上下文文档分析、避免幻觉和智能体工具使用。

法律智能体知识工作推理忠实性长上下文工具使用
AA-Briefcase v1.1MLCR-AAAutomationBench-AAHLE-Diamond

Healthcare & Medical Index

衡量模型在医疗与健康领域的表现,包括临床知识、智能体知识工作、患者记录的长上下文推理、避免幻觉、临床推理和智能体工具使用。

医疗智能体知识工作长上下文工具使用忠实性推理
AA-Briefcase v1.1CritPt v2 (Hard Subset)Terminal-Bench-Science 0.1HLE-DiamondTerminal-Bench 4.0FrontierCode 2.0

Engineering Index

衡量模型在工程领域的表现,包括工程知识、科学、推理、智能体编程和智能体知识工作。

科学推理智能体编程知识工作
AA-Briefcase v1.1HLE-DiamondGDP.pdf

Economics Index

衡量模型在经济学领域的表现,包括经济学知识、定量推理、智能体执行和长上下文分析。

商业智能体知识工作推理长上下文