Methodik für das AA-3D-Benchmarking
Umfang und Hintergrund
AA-3D v1.0 misst, wie gut KI-Modelle interaktive 3D-Erlebnisse erstellen. Jedes Modell erhält eine schriftliche Aufgabenbeschreibung und erstellt in einer Offline-Sandbox eine einzelne Webseite mit three.js. Diese Seite beschreibt, wie wir die Szenen erzeugen und wie wir ihre Qualität über menschliche Präferenzabstimmungen messen.
Jedes Modell erhält dieselbe Aufgabenbeschreibung sowie dieselben Anweisungen, Werkzeuge und Limits, damit die Szenen möglichst vergleichbar sind. Sie sind unten unter Standardeinstellungen für die Generierung aufgeführt.
Qualitäts-Elo
Der Elo-Wert jedes Modells bildet seine relative Qualität ab und wird aus blinden Stimmen unseres rekrutierten Panels in der AA-3D-Abstimmung abgeleitet. Wir berechnen die Bewertungen mit einer Maximum-Likelihood-Schätzung nach Bradley-Terry, bei der jede Stimme gleich gewichtet wird, und skalieren sie zur besseren Lesbarkeit auf einen Elo-ähnlichen Bereich um. Zusammen mit jeder Bewertung geben wir ein mit dem Sandwich-Schätzer berechnetes 95-%-Konfidenzintervall an, das mit zunehmender Stimmenzahl für ein Modell enger wird. Unsere Bild-, Video- und Musik-Arenen verwenden ein anderes Verfahren: ein nach einem Potenzgesetz gewichtetes Bradley-Terry-Modell mit Konfidenzintervallen auf Basis der Hesse-Matrix.
Abstimmung
Das Qualitäts-Elo beruht ausschließlich auf blinden, paarweisen Präferenzabstimmungen unseres rekrutierten Panels. Bei jedem Vergleich sieht eine teilnehmende Person zwei Szenen, die zwei verschiedene Modelle für dieselbe Aufgabe erstellt haben, interagiert mit beiden und wählt die bevorzugte aus. Öffentliche Stimmen aus der AA-3D-Abstimmung gehen nicht in die Rating-Berechnung ein.
- Mindestbetrachtungszeit: Eine Stimme kann erst abgegeben werden, nachdem jede Szene mindestens 30 Sekunden lang betrachtet wurde. So spiegeln Präferenzen die mit jeder Szene verbrachte Zeit wider und nicht nur einen ersten Eindruck.
- Blind: Teilnehmende sehen weder Modellnamen noch andere identifizierende Details, auch nicht nach der Stimmabgabe.
- Qualitätsprüfungen: Etwa jeder vierte Vergleich einer Sitzung hat eine Antwort mit klarem Konsens. Sitzungen, die diese Prüfungen nicht bestehen, werden verworfen und alle ihre Stimmen entfernt. Stimmen aus Qualitätsprüfungen fließen nicht in die Bewertung ein.
Zulassung von Szenen
Bevor Szenen in die AA-3D-Abstimmung aufgenommen werden, prüfen wir, ob jede von ihnen läuft. Eine Szene, die einen der beiden Schritte nicht besteht, wird von der Abstimmung ausgeschlossen.
- Automatische Prüfung: Wir öffnen jede Szene in einem Headless-Browser mit Software-Rendering. Sie hat bis zu 60 Sekunden Zeit, um zu laden und den ersten Frame anzuzeigen. Außerdem muss sie weiter rendern, ein nicht leeres Bild zeigen und offline ohne Fehler laufen.
- Manuelle Prüfung: Wir prüfen jede Szene, die die automatische Prüfung besteht, bevor sie den Teilnehmenden gezeigt wird.
Bestenlisten
Wir veröffentlichen eine Globale Bestenliste für AA-3D v1.0.
- Globale Bestenliste: Fasst alle gültigen Stimmen unseres rekrutierten Panels zusammen.
Aufgaben
AA-3D v1.0 umfasst 55 Aufgaben. Jede Aufgabe ist eine schriftliche Beschreibung einer interaktiven Szene, etwa eines rotierenden Schwarzen Lochs, eines spielbaren Flippertischs oder des Kolosseums. Die Beschreibung legt fest, was die Szene zeigen muss und wie Nutzer mit ihr interagieren, und überlässt die Umsetzung dem Modell.
Die Aufgaben decken sieben Bereiche ab: Sehenswürdigkeiten und reale Orte; Maschinen; Naturphänomene; Lebewesen; Spiele, Sport und Pilotieren; Weltraum; Geschichten und Fantasy.
Standardeinstellungen für die Generierung
Wir führen jedes Modell in Stirrup aus, unserem quelloffenen Agent-Harness. Jede Aufgabe läuft in einer eigenen Sandbox ohne Netzwerkzugang.
| Einstellung | Wert |
|---|---|
| Versuche pro Aufgabe | 1 |
| Agenten-Turns | Bis zu 250 |
| Zeitlimit | 3 Stunden pro Aufgabe |
| Rechenressourcen | 4 CPU-Kerne und 8 GB Arbeitsspeicher, keine GPU (WebGL wird per Software gerendert) |
| Ausgabe | Eine HTML-Seite mit ihren Assets, bis zu 200 MiB, ohne die mitgelieferten Bibliotheken three.js und Rapier |
| Werkzeuge | three.js 0.186.0, Rapier 0.20.0 (optional), Blender 4.5 (optional), Python 3, Node.js 22 und ein Headless-Chromium-Browser, mit dem das Modell seine Arbeit selbst testet |
| Asset-Bibliothek | Optionale CC0-Assets von Poly Haven, ambientCG, Kenney, Quaternius und KayKit: Beleuchtung, Materialien, 3D-Modelle, Figuren und Animationsclips |
Die Einstellungen sind für jedes Modell über alle in der AA-3D-Abstimmung verwendeten Szenen hinweg identisch.
Aufnahmekriterien für Modelle und Anbieter
Unser Ziel ist es, beliebte und leistungsstarke KI-Modelle zu analysieren und zu vergleichen, damit Nutzer eine fundierte Auswahl treffen können. Daher prüfen wir die Branchenrelevanz und Wettbewerbsfähigkeit neuer Modelle und Anbieter, bevor wir sie aufnehmen. Wir entwickeln diese Kriterien laufend weiter und freuen uns über Feedback oder Vorschläge. Modelle oder Anbieter können über die Kontaktseite vorgeschlagen werden.
Unabhängigkeitserklärung
Das Benchmarking erfolgt unter strikter Wahrung von Unabhängigkeit und Objektivität. Artificial Analysis erhält von keinem Anbieter eine Vergütung für die Aufnahme in die Liste oder für positive Ergebnisse.