Methodik der Fähigkeitsindizes von Artificial Analysis
Überblick
Die Fähigkeitsindizes von Artificial Analysis messen, wie gut Modelle in bestimmten beruflichen Anwendungsfällen abschneiden, etwa im Rechtswesen, im Gesundheitswesen oder im Finanzbereich.
Wir führen jeden Komponenten-Benchmark unabhängig aus, bevor seine Werte im Index zusammengeführt werden. Wie alle Evaluationsmetriken haben auch Fähigkeitsindizes ihre Grenzen und lassen sich möglicherweise nicht direkt auf jeden Anwendungsfall übertragen. Sie bieten jedoch eine nützliche Zusammenfassung für den Vergleich von Modellen bei den Aufgaben, die für einen bestimmten Bereich relevant sind.
Die zugrunde liegenden Benchmarks sowie ihre jeweilige Durchführung und Bewertung sind in der Methodik für das Intelligenz-Benchmarking dokumentiert.
Aufschlüsselung der Indizes
Jeder Index ist auf einen einzelnen Beruf oder Fachbereich wie Rechtswesen, Gesundheit und Medizin oder Finanzen und Rechnungswesen ausgerichtet. Er gewichtet verschiedene Fähigkeiten danach, wie häufig diese in realen Aufgaben des jeweiligen Bereichs vorkommen.
Unsere Aufgabengewichtungen basieren auf einer an O*NET angelehnten Taxonomie von Arbeitsaktivitäten. Die folgende Tabelle zeigt die Komponenten und Gewichtungen jedes Index.
| Index | Gewichtung | Fähigkeit | Evaluationen | Beschreibung |
|---|---|---|---|---|
| Finance & Accounting Index | 30% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Werkzeugnutzung, Planung und mehrstufige Aufgabenausführung, etwa Tabellen erstellen, Analysen durchführen oder Arbeitsabläufe koordinieren |
| 25% | Wirtschaftswissen | AA-Omniscience v1.1 | Fachwissen in Rechnungswesen, Unternehmensfinanzierung, Volkswirtschaft und Investitionen | |
| 15% | Schlussfolgern | HLE-Diamond | Mehrstufiges quantitatives und analytisches Schlussfolgern für Sensitivitätsanalysen, Bewertungen und strukturierte Problemlösung | |
| 15% | Halluzinationsvermeidung | AA-Omniscience v1.1 | Erfundene Zahlen oder Quellenangaben vermeiden | |
| 10% | Agentische Werkzeugnutzung | AutomationBench-AA | Finanzabläufe in Geschäftsanwendungen wie Tabellen, E-Mail und Buchhaltungswerkzeugen abschließen, ohne Schutzvorgaben zu verletzen | |
| 5% | Langer Kontext | GDP.pdf | Lange Finanzberichte, Transaktionsdokumente und PDF-Berichte lesen und analysieren | |
| Strategy & Ops Index | 35% | Agentische Werkzeugnutzung | AutomationBench-AA | Abläufe in Betrieb, Personal, Marketing, Vertrieb und Support über Geschäftsanwendungen hinweg abschließen, ohne Schutzvorgaben zu verletzen |
| 30% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Werkzeugnutzung, Planung und durchgängige Koordination mehrstufiger Büroabläufe | |
| 25% | Wirtschaftswissen | AA-Omniscience v1.1 | Praxiswissen über Geschäftsprozesse, Grundlagen des Rechnungswesens und betriebliche Konzepte | |
| 5% | Langer Kontext | GDP.pdf | Kontext über lange Gesprächsverläufe, Richtlinien, Akten und PDF-Dokumente hinweg bewahren | |
| 5% | Halluzinationsvermeidung | AA-Omniscience v1.1 | Erfundene Zahlen, Richtlinien oder Akten vermeiden | |
| Legal Index | 30% | Rechtswissen | AA-Omniscience v1.1 | Kenntnis von Gesetzen, Lehren und Verfahren in verschiedenen Rechtsordnungen |
| 25% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Mandatsverwaltungsabläufe, Entwurfsprozesse und werkzeuggestützte Recherche durchführen | |
| 15% | Schlussfolgern | HLE-Diamond | Mehrstufige Argumentation, Gesetzesauslegung und Abwägung widersprüchlicher Rechtsquellen | |
| 15% | Halluzinationsvermeidung | AA-Omniscience v1.1 | Erfundene Fallzitate oder Gesetze vermeiden | |
| 10% | Langer Kontext | GDP.pdf | Verträge, Beweisproduktionen, Rechtsprechungssammlungen und PDF-Schriftsätze lesen und zusammenführen | |
| 5% | Agentische Werkzeugnutzung | AutomationBench-AA | Kundensupport- und Betriebsabläufe in Geschäftsanwendungen abschließen, ohne Schutzvorgaben zu verletzen | |
| Healthcare & Medical Index | 25% | Medizin- und Gesundheitswissen | AA-Omniscience v1.1 | Klinisches Wissen zu Diagnose, Pharmakologie und Behandlungspfaden |
| 25% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Werkzeugnutzung, Planung und durchgängige Koordination von EHR- und Apothekenabläufen | |
| 15% | Langkontext-Schlussfolgern | MLCR-AA | Erkenntnisse aus langen, fragmentierten Patientenakten und Leistungsfällen zusammenführen | |
| 15% | Agentische Werkzeugnutzung | AutomationBench-AA | Patientensupport- und Betriebsabläufe in Geschäftsanwendungen abschließen, ohne Schutzvorgaben zu verletzen | |
| 10% | Halluzinationsvermeidung | AA-Omniscience v1.1 | Erfundene Wechselwirkungen, Dosierungen oder Leitlinien vermeiden | |
| 10% | Schlussfolgern | HLE-Diamond | Mehrstufiges klinisches Schlussfolgern in Biologie und Medizin | |
| Engineering Index | 30% | Ingenieurwissen | AA-Omniscience v1.1 | Fachwissen in Bau-, Elektro-, Maschinenbau und weiteren Ingenieurdisziplinen |
| 20% | Naturwissenschaften | CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1 | Physik auf Forschungsniveau und Forschungsworkflows von Fachleuten in Bio-, Geo- und physikalischen Wissenschaften | |
| 20% | Schlussfolgern | HLE-Diamond | Mehrstufiges quantitatives Schlussfolgern für Herleitungen, Dimensionierungsberechnungen und Entwurfsabwägungen | |
| 15% | Agentisches Programmieren | Terminal-Bench 4.0, FrontierCode-AA 2.0 | Software in realen Codebasen und Terminalumgebungen entwickeln, Fehler beheben und warten | |
| 15% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Werkzeugnutzung, Planung und mehrstufige Erstellung technischer Arbeitsergebnisse | |
| Economics Index | 30% | Wirtschaftswissen | AA-Omniscience v1.1 | Kenntnisse in Mikroökonomie, Makroökonomie, öffentlichen Finanzen und Märkten |
| 30% | Agentische Wissensarbeit | AA-Briefcase v1.1 | Werkzeugnutzung, Planung und mehrstufige Erstellung analytischer Arbeitsergebnisse | |
| 25% | Schlussfolgern | HLE-Diamond | Mehrstufiges quantitatives und analytisches Schlussfolgern für Modellierung, Schätzung und Inferenz | |
| 15% | Langkontext-Schlussfolgern | GDP.pdf | Lange PDF-Berichte und Forschungsarbeiten lesen und analysieren |