Methodik für Videogenerierungs-Benchmarks

Umfang und Hintergrund

Artificial Analysis führt Benchmarks für Videogenerierungsmodelle durch, die in der Regel über serverlose API-Endpunkte bereitgestellt werden. Diese Seite beschreibt die Methodik zur Messung von Qualität, Geschwindigkeit und Preis dieser Modelle.

Bei der Videogenerierung veröffentlichen wir sechs Benchmarks:

AA-Video-T2V-Silent v2.0: Modelle, die Videos ausschließlich aus einem Text-Prompt generieren.
AA-Video-I2V-Silent v1.0: Modelle, die ein Referenzbild als ersten Frame und, sofern unterstützt, einen begleitenden Text-Prompt zur Videogenerierung verwenden.
AA-Video-Editing-Silent v1.0: Modelle, die aus einer Videoeingabe und einem Text-Prompt ein Video generieren.
AA-Video-T2V v2.0: Text-zu-Video-Modelle, die zusammen mit dem Video synchronisiertes Audio generieren.
AA-Video-I2V v1.0: Bild-zu-Video-Modelle, die zusammen mit dem Video synchronisiertes Audio generieren.
AA-Video-Editing v1.0: Videobearbeitungsmodelle, die zusammen mit dem Video synchronisiertes Audio generieren.

Jeder Benchmark hat in der Video Arena seinen eigenen Elo-Pool. Ausgaben ohne und mit Audio werden daher nicht direkt miteinander verglichen, ebenso wenig Bearbeitung und Generierung.

Wir verwenden für jedes Video, das wir mit den verschiedenen Modellen und Anbietern generieren, ein einheitliches Set an Standardeinstellungen. Um die Vergleichbarkeit sicherzustellen, werden die Videos jedes Modells mit identischen Einstellungen für Auflösung, Bildrate, Dauer, Seitenverhältnis, Seed, Guidance und Inferenzschritte erzeugt. Alle Standardeinstellungen finden Sie weiter unten unter „Standardeinstellungen für die Generierung“.

Abgedeckte Endpunkte

Abgedeckte Workloads: Die Inferenz-Benchmarks umfassen Endpunkte zur Text-zu-Video- und Bild-zu-Video-Generierung.

Nur öffentliche serverlose Endpunkte: Die Benchmarks umfassen echte serverlose Endpunkte, die öffentlich verfügbar sind oder werden. Demoprodukte, Hardwarevorführungen und dedizierte oder private Bereitstellungen sind nicht Gegenstand der Benchmarks.

Standard- und modifizierte Endpunkte

Wir stufen jeden Endpunkt entweder als Standard ein – er stellt das native Modell mit voller Wiedergabetreue bereit und macht dessen übliche Eingabeparameter zugänglich – oder als Modifiziert – das native Modell wurde auf eine Weise verändert, die sich auf die Wiedergabetreue der Ausgabe auswirkt, typischerweise um die Generierung zu beschleunigen oder Kosten zu senken.

Modifizierte Endpunkte werden auf Artificial Analysis entsprechend gekennzeichnet und können in der Standardansicht der Bestenliste ausgeblendet sein. Nutzer, die sie anzeigen möchten, können sie weiterhin sehen. Um die Fairness unserer Standard-Benchmarks zu gewährleisten, entscheiden wir nach eigenem Ermessen, ob ein Endpunkt als modifiziert eingestuft wird und wie viele Varianten eines einzelnen Modells aufgeführt werden. Anhaltspunkte für eine Einstufung als modifiziert sind unter anderem Destillation, nur teilweise zugängliche Eingabeparameter des nativen Modells oder eine wesentlich schlechtere Ausgabequalität.

Wichtige Metriken

Mit den folgenden Metriken erfassen wir Qualität, Leistung und Preis von Videogenerierungsmodellen.

Qualitäts-Elo

Der Elo-Wert eines Modells bildet dessen relative Qualität ab und wird aus blinden Stimmen unseres rekrutierten Panels abgeleitet, zusammen mit öffentlichen Stimmen, die vor dem 1. Januar 2026 in der Artificial Analysis Video Arena abgegeben wurden. In beiden Fällen vergleichen die Abstimmenden zwei Videos, die verschiedene Modelle aus demselben Prompt generiert haben, und wählen das bevorzugte Video aus. Öffentliche Stimmen von vor diesem Datum gibt es nur bei Text zu Video und Bild zu Video, und sie zählen inzwischen nur noch für Bild zu Video: Die Text-zu-Video-Benchmarks wurden für v2.0 zurückgesetzt (siehe AA-Video-T2V v2.0 & AA-Video-T2V-Silent v2.0 weiter unten). Videobearbeitung und die drei Modalitäten mit Audio erhielten ihre erste öffentliche Stimme danach, sodass ihre Werte allein auf den Panel-Stimmen beruhen. Wir aggregieren diese paarweisen Abstimmungen mit einer Maximum-Likelihood-Schätzung nach Bradley-Terry und skalieren die Ergebnisse zur besseren Lesbarkeit auf einen Elo-ähnlichen Wertebereich. Die Bewertungen werden stündlich neu berechnet.

Der Elo-Wert wird für jeden Benchmark separat ausgewiesen (AA-Video-T2V-Silent v2.0, AA-Video-I2V-Silent v1.0, AA-Video-Editing-Silent v1.0, AA-Video-T2V v2.0, AA-Video-I2V v1.0 und AA-Video-Editing v1.0), da in der Arena nur Ausgaben derselben Modalität gegeneinander antreten.

Leaderboards

Wir veröffentlichen für jeden Benchmark ein globales Leaderboard. AA-Video-T2V v2.0 und AA-Video-T2V-Silent v2.0 veröffentlichen zusätzlich Kategorie-Leaderboards (siehe unten).

Globales Leaderboard: die auf dieser Seite veröffentlichte Rangliste, die jede nach den obigen Regeln behaltene Stimme aggregiert. Ein Modell erscheint, sobald es eine Mindestanzahl an Stimmen erhalten hat.

Preis pro Videominute

Preis des Anbieters (USD) für die Generierung einer Videominute mit den Standardeinstellungen.

Die Preisangabe wird direkt aus dem vom jeweiligen Anbieter veröffentlichten Minutenpreis übernommen.

Generierungszeit

Median der Zeit, die der Anbieter benötigt, um mit den Standardeinstellungen ein einzelnes Video zu generieren, berechnet über die vergangenen 3 Tage.

Die Generierungszeit wird durchgängig gemessen: vom Absenden der Anfrage an den Anbieter über etwaige Wartezeiten in der Warteschlange, die Inferenz und Videocodierung bis zum Herunterladen des fertigen Videos vom Anbieter. Bei asynchronen APIs (senden → Status abfragen → herunterladen) werden alle drei Phasen berücksichtigt.

Bei Bild-zu-Video-Modellen umfasst die Generierungszeit auch die Zeit, die für das Hochladen des Referenzbilds zum Anbieter erforderlich ist. Akzeptiert ein Anbieter eine URL zum Referenzbild, entfällt dieser Schritt und die Uploadzeit wird nicht berücksichtigt.

Standardeinstellungen für die Generierung

Diese Einstellungen gelten sowohl für Text-zu-Video- als auch für Bild-zu-Video-Benchmarks, sofern nicht anders angegeben.

Einstellung	Wert
Auflösung	1080p (oder der nächstgelegene unterstützte Wert)
Bildrate	24 FPS (oder der nächstgelegene unterstützte Wert)
Dauer	10 Sekunden (oder die entsprechende Anzahl an Frames, wenn die Dauer in Frames angegeben werden muss)
Seitenverhältnis	16:9, Querformat
Seed	42 (wenn das Modell einen Seed-Parameter bereitstellt)
Prompt-Optimierung	Aktiviert, wenn vom Modellentwickler empfohlen, andernfalls deaktiviert
CFG / Guidance	Standardwert der Erstanbieter-API oder des Open-Source-Repositorys
Inferenzschritte	Standardwert der Erstanbieter-API oder des Open-Source-Repositorys

Unterstützt ein Anbieter nicht exakt den Standardwert, verwenden wir den nächstgelegenen unterstützten Wert und entscheiden uns bei gleichem Abstand für den höheren Wert. Ist beispielsweise 24 FPS nicht verfügbar, bevorzugen wir 30 FPS gegenüber 18 FPS, da beide gleich weit vom Standardwert entfernt sind. Bei AA-Video-T2V v2.0 und AA-Video-I2V v1.0 werden Modelle mit aktivierter Audioausgabe bewertet; alle anderen Standardeinstellungen gelten unverändert.

Text zu Video

Text-zu-Video-Modelle erhalten ausschließlich einen Text-Prompt als Eingabe. Die Prompts stammen aus einem kuratierten und reproduzierbaren Prompt-Satz.

Bild zu Video

Bild-zu-Video-Modelle erhalten ein Referenzbild und, sofern unterstützt, einen begleitenden Text-Prompt. Die in unseren Benchmarks verwendeten Referenzbilder erfüllen folgende Standards:

Format: PNG (verlustfrei). Wir verwenden kein JPG/JPEG, um Kompressionsartefakte zu vermeiden, die durch verlustbehaftete Codierung entstehen können.
Auflösung: 1920×1080 (16:9, entsprechend der Zielauflösung des Videos).
Byte-Fallback: Akzeptiert ein Anbieter keine URLs oder verlangt er eine bestimmte Größe oder ein bestimmtes Format, laden wir das Bild herunter, nehmen die erforderlichen Umwandlungen vor und laden die Bytes direkt hoch.
Uploadzeit: Verlangt ein Anbieter, dass wir das Bild vor der Generierung auf seine Plattform hochladen, wird diese Uploadzeit der Generierungszeit zugerechnet.

AA-Video-T2V v2.0 & AA-Video-T2V-Silent v2.0

Methodik im Überblick

Text-zu-Video-Modelle unterscheiden sich in ihren Fähigkeiten über Anwendungsfälle hinweg. Ein Modell führt möglicherweise bei schauspielerischer Darstellung und Lippensynchronität, ein anderes bei Animation, Text im Bild oder UI-Motion. Das Modell, das ein Studio für einen Markenfilm wählt, ist nicht unbedingt das Modell, das ein Produktteam für UI-Motion-Demos oder ein Creator für Social-Clips wählt.

Unsere Methodik misst diese Unterschiede direkt. Wir ranken Modelle nach menschlicher Präferenz über eine Taxonomie realer Anwendungsfälle und Modellfähigkeiten und ermitteln so das insgesamt beste Modell und das beste Modell für bestimmte Arbeit. Wir erneuern unser Prompt-Set regelmäßig, damit das Leaderboard die Frontier weiter misst, während sie sich bewegt.

AA-Video-T2V v2.0 bewertet Text-zu-Video mit Audio. AA-Video-T2V-Silent v2.0 bewertet Text-zu-Video ohne Audio.

Prompt-Kuratierung und -Aktualisierung

Wir pflegen ein kuratiertes Prompt-Set, das regelmäßig erneuert wird, um der Frontier zu folgen, während sich die Modellfähigkeiten weiterentwickeln.

Prompt-Taxonomie: Jeder Prompt wird entlang zweier Achsen verfasst, realer Anwendungsfall und Modellfähigkeit, und für beide getaggt. Zusätzlich wird jeder Prompt mit seinem visuellen Stil getaggt. Prompts werden in unserer Arena gleichmäßig über Anwendungsfall und Fähigkeit gesampelt.
Prompt-Sets: AA-Video-T2V v2.0 verwendet 1.000 Prompts. AA-Video-T2V-Silent v2.0 verwendet 500 Prompts.
Aktualität: Wir erneuern unser Prompt-Set regelmäßig. Prompts werden ausgemustert, wenn sie Modelle nicht mehr trennen oder nicht mehr widerspiegeln, wie Menschen Videomodelle heute prompten.

Prompt-Taxonomie

Wir konstruieren unsere Prompt-Taxonomie entlang zweier Achsen und taggen den visuellen Stil separat.

Anwendungsfall. Diese Anwendungsfälle gründen auf unserer Analyse, wie Verbraucher und Unternehmen Text-zu-Video-Generierung einsetzen, sowie auf unserer Beobachtung neu entstehender Anwendungsfälle. Beispielaufgaben je Anwendungsfall:

Marketing & Advertising: animierte Poster, Logo-Stings, Markenfilme, Hero-Produktspots, Launch-Videos
Retail & E-commerce: Studio-Produktaufnahmen, Produktdemos, Bewegung von Bekleidung und Mode, Testimonials im Creator-Stil, Outfit-Try-ons
Live-Action Film: filmische Einstellungen, Microdrama-Episoden, Previsualisierung
Animation & Gaming: animierte Szenen, Game-Trailer, Previsualisierung für Animation und Games
Architecture & Real Estate: Außen-Flythroughs, Innen-Walkthroughs, virtuelles Staging
Productivity & Knowledge Work: Erklärvideos, Bildungs- und Schulungsvideos, animierte Datenvisualisierungen, Szenariosimulationen
UI/UX & Motion Design: Kinetic Typography, UI-Motion-Demos über verschiedene Geräte hinweg, abstrakte Motion Graphics
Consumer: Selfies, persönliche Momente, alltägliches Stock-Footage und B-Roll
Social Media & Creator Content: Talking Heads, Podcast-Clips, ASMR- und Satisfying-Videos, Tanz, Vlogs, Trendformate
Frontier: Fähigkeiten an der aktuellen Frontier und darüber hinaus

Fähigkeit. Diese Modellfähigkeiten sind durch unsere laufende Arbeit mit führenden Modell-Labs und den Fähigkeiten, die sie verfolgen, informiert und in akademischen Benchmarks verankert. Beispiele je Fähigkeit:

Physics: Mechanik, thermische Effekte, Materialinteraktionen, Bruch und Verformung, Optik, Ursache und Wirkung, kontrafaktische Physik
Complex Composition: Attributzuordnung, räumliche Beziehungen, Interaktion mehrerer Objekte, Zählen, zeitliche Abfolge
Human Anatomy: Gang und Fortbewegung, Feinmotorik, Mimik, akrobatische Bewegungen, Greifen von Objekten, menschliche Interaktion
Lighting & Materials: Beleuchtung, Belichtung, Schatten, Farbtemperatur, Textur, Stoff, Haare und Fell
Multi-Scene & Narrative: Geschichten mit mehreren Ereignissen, Übergänge zwischen Einstellungen, Montage, Identitätskonsistenz über Einstellungen hinweg
Camera Control: Einstellungsgrößen und Perspektiven wie Nahaufnahme, Luftaufnahme, POV und Untersicht sowie Kamerabewegungen wie Tracking, Dolly, Orbit, Kranfahrt, Crash Zoom, Reißschwenk und Schärfeverlagerung
Text Rendering: kurzer und langer Text, 2D-Layout, nicht-lexikalische Zeichenfolgen, Text auf sich verformenden Oberflächen
Spatio-Temporal Consistency: räumliche Kohärenz, Zeitraffer, Verdeckung und Wiedereintritt ins Bild, Geschichten in einer einzigen Einstellung
Audio Synchronization: diegetische Soundeffekte, Hintergrundmusik und Filmmusik, Ton im Bild und aus dem Off
Dialogue & Lip Sync: Dialoge mit einer oder mehreren sprechenden Personen, Voiceover im Vergleich zu Sprache im Bild

Stil. Jeder Prompt wird zudem mit einem von acht visuellen Stilen getaggt: Photorealistic, 3D Render/CGI, Cartoon and Anime, Flat Design, Hand-drawn/Illustration, Stop-Motion/Claymation, Lo-Fi und Mixed Styles. Stile werden nicht gleichmäßig gesampelt, und die meisten Prompts sind fotorealistisch.

Prompt-Erstellung

Wir schreiben Prompts so, dass sie Frontier-Videomodelle voneinander trennen, die einfache Anfragen gut bewältigen. Prompts werden geschrieben:

Für vollständige Abdeckung der Taxonomie, gleichmäßig über jede Kombination aus Anwendungsfall und Fähigkeit verteilt, mit einem hohen Mindestmaß an Komplexität in jeder Fähigkeit, etwa großräumige statt subtiler Bewegung und mehrere interagierende Motive.
Um reale Produktionsarbeit widerzuspiegeln, gestützt auf die Prompting-Guides der Modellentwickler, unsere bestehenden Prompt-Sets und die Workflows, die wir branchenweit beobachten.
Mit Blick auf den Ton für AA-Video-T2V v2.0: Prompts geben Dialoge, Soundeffekte, Umgebungsgeräusche und Musik vor, wo die Szene sie erfordert.

Jeder Prompt wird von einem Menschen geprüft, bevor wir ihn in der Arena ausspielen.

Prompt-Ausmusterung

Wir mustern Prompts aus, wenn Arena-Stimmen zeigen, dass sie Modelle nicht mehr trennen, oder wenn sie nicht mehr widerspiegeln, wie Menschen Videomodelle prompten.

Sampling-Methodik

Für jedes Matchup sampeln wir gleichmäßig über die Kombinationen aus Anwendungsfall und Fähigkeit und ziehen dann innerhalb der gewählten Kombination zufällig einen Prompt.

Jedes Matchup paart zwei Videos, die aus demselben Prompt innerhalb desselben Benchmarks generiert wurden, sodass Videos mit Audio nie mit stummen Videos gepaart werden. Die Links/rechts-Position wird randomisiert.

Wiedergabestandards

Wir spielen jedes Video den Bewertenden unter denselben Standards aus:

Auflösung: bis zu 1080p, wie generiert. Videos werden nie hochskaliert: Modelle, die kein 1080p generieren können, werden in ihrer höchsten unterstützten Auflösung ausgespielt, und Ausgaben über 1080p werden auf 1080p herunterskaliert.
Codierung: H.264 in hoher Qualität, mit auf 10 Mbps begrenzten Bitraten-Spitzen.
Dauer: 10 Sekunden bei 16:9. Modelle, die keine 10 Sekunden generieren können, werden in ihrer maximalen Länge ausgespielt.
Lautheitsangleichung: Bei AA-Video-T2V v2.0 gleichen wir die Lautheit jedes Videos mit einer einzigen festen Verstärkung in Richtung -18 LUFS an. Die Abmischung eines Modells wird nie komprimiert oder neu gemastert, und kein Modell gewinnt, weil es lauter ist.

Elo-Berechnung

Stimmenerhebung

Modellqualität wird über menschliche Präferenz gemessen.

Blinde Paarvergleiche: Bewertende sehen zwei Videos, die zwei verschiedene Modelle aus demselben Prompt generiert haben, ohne Modellidentitäten und wählen das bevorzugte. Beide Videos laufen in voller Größe in einem einzigen Player, und die Bewertenden wechseln zwischen ihnen.
Bewertungshinweise: Jedes Matchup zeigt kurze Hinweise, die an Anwendungsfall, primäre Fähigkeit und Stil des Prompts gebunden sind und die Aufmerksamkeit auf die jeweils getesteten Aspekte lenken.
Mindestbeschäftigung: Stimmen können erst abgegeben werden, nachdem jedes Video mindestens 8 Sekunden lang abgespielt wurde. Bei AA-Video-T2V v2.0 werden die Bewertenden gebeten, auch den Ton zu beurteilen, und zwar mit Kopfhörern.
Stimmenqualität: Beide Leaderboards werden ausschließlich auf Stimmen unseres rekrutierten Panels gerankt, das vom Panel-Anbieter geprüft und verifiziert wird. Etwa eines von fünf Matchups in jeder Sitzung ist eine Qualitätsprüfung mit einer eindeutigen Konsensantwort. Sitzungen, die diese Prüfungen nicht bestehen, werden abgelehnt und alle ihre Stimmen entfernt; Stimmen aus Qualitätsprüfungen fließen nicht in das Rating ein.

Stimmenfilterung

AA-Video-T2V v2.0 und AA-Video-T2V-Silent v2.0 sind neue Leaderboards. Wir mustern jede Text-zu-Video-Stimme, die vor der Aktualisierung abgegeben wurde, für jedes Modell aus, da diese Stimmen auf früheren Prompts und unter früheren Wiedergabestandards erhoben wurden. Öffentliche Stimmen aus der Video Arena zählen nicht für diese Ratings. Wir berechnen Elo über die behaltenen Stimmen von Grund auf neu, verankert auf Kling 3.0 1080p (Pro) = 1000 für das Gesamt-Leaderboard und für alle Unterkategorie-Leaderboards.

Leaderboards

Für jeden Benchmark veröffentlichen wir:

Gesamt-Leaderboard: die Rangliste über alle behaltenen Stimmen. Ein Modell erscheint, sobald es eine Mindestanzahl an Stimmen erhalten hat.
Kategorie-Leaderboards: dieselbe Berechnung, beschränkt auf Prompts mit einem bestimmten Anwendungsfall-, Fähigkeits- oder Stil-Tag, veröffentlicht, sobald die Kategorie genügend Stimmen hat.

Testmethodik für die Generierungszeit

Wichtige technische Details:

Taktung: Text-zu-Video-Tests werden alle 2 Stunden mit einem zufälligen Zeitversatz innerhalb jedes Zeitfensters ausgeführt.
Stichprobengröße: Die ausgewiesene Generierungszeit ist der Median der erfolgreichen Messungen aus den jeweils letzten 3 Tagen. Bei Messungen alle 2 Stunden kommen für Text zu Video in der Regel etwa 36 Stichproben pro Host und Zeitfenster zusammen.
Prompt-Auswahl: Bei jedem Durchlauf wird ein einzelner zufälliger Prompt aus einem kuratierten Datenbank-Pool ausgewählt und an jedes aktive Hostmodell gesendet.
Seed: Wenn das Modell einen Seed-Parameter bereitstellt, wird ein fester Seed von 42 verwendet, damit die Ausgaben über mehrere Durchläufe hinweg reproduzierbar sind.
Durchgängige Zeitmessung: Die Generierungszeit wird durchgängig vom ersten API-Aufruf bis zum Herunterladen des fertigen Videos gemessen. Bei Anbietern mit asynchronen APIs (senden, Status abfragen, herunterladen) umfasst sie die Wartezeit in der Warteschlange, die Inferenz und den Download.
API-Modus: Wir fragen den Auftragsstatus alle 100 Millisekunden ab, damit die gemessene Wartezeit in der Warteschlange die tatsächliche Zeit beim Anbieter und nicht das Abfrageintervall widerspiegelt.
Umfang: Die Generierungszeit wird derzeit nur für Text-zu-Video- und Bild-zu-Video-Modelle ohne Audio gemessen. AA-Video-Editing-Silent v1.0 und die drei Audio-Benchmarks (AA-Video-T2V v2.0, AA-Video-I2V v1.0 und AA-Video-Editing v1.0) werden über die Video Arena (Qualitäts-Elo) eingestuft, derzeit jedoch keinem Latenz-Benchmark unterzogen.
Aggregation: Median, p05, p25, p75 und p95 werden aus der Rohverteilung der erfolgreichen Messungen ohne Bereinigung von Ausreißern berechnet.
Nicht gemessene Faktoren: Verzögerungen durch Kaltstarts beim Anbieter, Authentifizierungs-Handshakes, der Aufwand für Wiederholungsversuche und das Aufwärmen des Clients. Jeder Eintrag im Datensatz ist eine einzelne einmalige Messung.
Infrastruktur: Die Ausführung erfolgt auf Google Cloud Run in us-central1.
Neue Endpunkte: Bei neu hinzugefügten Endpunkten, einschließlich derer, die wir vor ihrer öffentlichen Verfügbarkeit bewerten, können wir die Testtaktung anpassen, um vor der Veröffentlichung der Ergebnisse eine Verteilung der Generierungszeiten zu ermitteln. Veröffentlichte Ergebnisse werden aus den Messungen der jeweils letzten 3 Tage berechnet. Werte neu gelisteter Endpunkte beruhen daher auf ersten Durchläufen und können sich ändern, wenn weitere Messungen hinzukommen.

Aufnahmekriterien für Modelle und Anbieter

Unser Ziel ist es, beliebte und leistungsstarke Videogenerierungsmodelle zu analysieren und zu vergleichen, damit Nutzer eine fundierte Auswahl treffen können. Daher prüfen wir die Branchenrelevanz und Wettbewerbsfähigkeit neuer Modelle und Anbieter, bevor wir sie aufnehmen. Wir entwickeln diese Kriterien kontinuierlich weiter und freuen uns über Feedback oder Vorschläge. Modelle oder Anbieter können Sie uns über die Kontaktseite vorschlagen.

Unabhängigkeitserklärung

Die Benchmarks werden unter strikter Wahrung von Unabhängigkeit und Objektivität durchgeführt. Artificial Analysis erhält von keinem Anbieter eine Vergütung für die Aufnahme in die Liste oder für positive Ergebnisse.