Indizes

AA-Omniscience v1.1AutomationBench-AATerminal-Bench 4.0FrontierCode 2.0GDP.pdfHLE-DiamondCritPt v2 (Hard Subset)Terminal-Bench-Science 0.1
Updated

Artificial Analysis Intelligence Index v5.0.1

A composite benchmark aggregating nine challenging evaluations to provide a holistic measure of AI capabilities across knowledge work, coding, science, and general knowledge.

WirtschaftProgrammierungGeisteswissenschaftenFinanzenRechtMedizinNaturwissenschaftenMathematikAgentischWissensarbeitWerkzeugnutzungSchreibenSchlussfolgernBefolgen von AnweisungenFaktentreueMultimodalLanger Kontext
Artificial Analysis Progress Index v1
New

Artificial Analysis Progress Index v1

Die Fähigkeiten von Sprachmodellen auf einer über die Zeit konsistenten Skala, geschätzt mit der Item-Response-Theorie, sodass sich auch Jahre auseinanderliegende Modelle vergleichen lassen.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index

Ein zusammengesetzter Index der Leistung von Programmieragenten bei durchgängigen Software-Engineering-Aufgaben, verglichen über Agents, Modelle und Ausführungseinstellungen hinweg.

ProgrammierungAgentischWerkzeugnutzungSchlussfolgernBefolgen von Anweisungen
Artificial Analysis Search Index

Artificial Analysis Search Index

Ein zusammengesetzter Index der Qualität von Search APIs bei agentischer Suche, der jeden Anbieter mit demselben Antwortmodell kombiniert, um seinen Zugewinn zu messen.

FaktentreueSchlussfolgernAgentischWerkzeugnutzung
Cyber Index Alliance Launch ArticleCWE-bench (Collinear AI)DeepsecBench (Vercel)CyberGym-E2E (Berkeley RDI)

Artificial Analysis Cyber Index

A composite index of model capability on cyber defense, combining three evaluations of finding and fixing vulnerabilities in real software repositories.

ProgrammierungAgentischWerkzeugnutzungSchlussfolgern
AA-Omniscience-DecisionHLE-MultiChoiceWhen2CallWildGuardTest
New

Artificial Analysis Decision Index

A composite index testing decision models across classification, tool calling, knowledge and reasoning.

GeisteswissenschaftenWirtschaftFinanzenRechtMedizinNaturwissenschaftenMathematikFaktentreueSchlussfolgernWerkzeugnutzung
Open Source Models

Artificial Analysis Openness Index

A composite measure providing an industry standard to communicate model openness for users and developers.

AA-Omniscience v1.1HLE-DiamondAutomationBench-AAGDP.pdf

Finance & Accounting Index

Misst die Leistung in Finanzen und Rechnungswesen, darunter Wirtschaftswissen, agentische Wissensarbeit, Schlussfolgern, agentische Werkzeugnutzung, Langkontextanalyse und Halluzinationsvermeidung.

FinanzenWirtschaftAgentischWissensarbeitSchlussfolgernFaktentreueWerkzeugnutzungLanger Kontext
AutomationBench-AAAA-Omniscience v1.1GDP.pdf

Strategy & Ops Index

Misst die Leistung in Strategie und Betrieb, darunter Wirtschaftswissen, agentische Wissensarbeit, agentische Werkzeugnutzung in Geschäftsanwendungen, Langkontextanalyse und Halluzinationsvermeidung.

WirtschaftAgentischWerkzeugnutzungWissensarbeitLanger KontextFaktentreue
AA-Briefcase v1.1HLE-DiamondGDP.pdfAutomationBench-AA

Legal Index

Misst die Leistung im Rechtsbereich, darunter Rechtswissen, agentische Wissensarbeit, Schlussfolgern, Langkontext-Dokumentanalyse, Halluzinationsvermeidung und agentische Werkzeugnutzung.

RechtAgentischWissensarbeitSchlussfolgernFaktentreueLanger KontextWerkzeugnutzung
AA-Briefcase v1.1MLCR-AAAutomationBench-AAHLE-Diamond

Healthcare & Medical Index

Misst die Leistung in Medizin und Gesundheitswesen, darunter klinisches Wissen, agentische Wissensarbeit, Langkontext-Schlussfolgern über Patientenakten, Halluzinationsvermeidung, klinisches Schlussfolgern und agentische Werkzeugnutzung.

MedizinAgentischWissensarbeitLanger KontextWerkzeugnutzungFaktentreueSchlussfolgern
AA-Briefcase v1.1CritPt v2 (Hard Subset)Terminal-Bench-Science 0.1HLE-DiamondTerminal-Bench 4.0FrontierCode 2.0

Engineering Index

Misst die Leistung im Ingenieurwesen, darunter technisches Fachwissen, Naturwissenschaften, Schlussfolgern, agentisches Programmieren und agentische Wissensarbeit.

NaturwissenschaftenSchlussfolgernAgentischProgrammierungWissensarbeit
AA-Briefcase v1.1HLE-DiamondGDP.pdf

Economics Index

Misst die Leistung in der Volkswirtschaft, darunter wirtschaftliches Fachwissen, quantitatives Schlussfolgern, agentische Ausführung und Langkontextanalyse.

WirtschaftAgentischWissensarbeitSchlussfolgernLanger Kontext