Methodik des Bildgenerierungs-Benchmarkings

Umfang und Hintergrund

Artificial Analysis führt Benchmarks für Bildgenerierungsmodelle durch, die üblicherweise über serverlose API-Endpunkte bereitgestellt werden. Diese Seite beschreibt die Methodik zur Messung von Qualität, Geschwindigkeit und Preis von Bildgenerierungsmodellen.

Bei den Bildgenerierungsfähigkeiten decken wir zwei Modalitäten ab:

Text zu Bild: Modelle, die ein Bild ausschließlich anhand eines Text-Prompts generieren.
Bildbearbeitung: Modelle, die ein Referenzbild anhand eines Text-Prompts bearbeiten.

Abdeckung der Endpunkte

Abgedeckte Workloads: Das Inferenz-Benchmarking deckt Endpunkte für die Generierung von Text zu Bild ab.

Nur öffentliche serverlose Endpunkte: Das Benchmarking deckt ausschließlich echte serverlose Endpunkte ab, die öffentlich verfügbar sind oder sein werden. Demoprodukte, Hardware-Präsentationen und dedizierte oder private Bereitstellungen liegen außerhalb des Umfangs.

Standard- und modifizierte Endpunkte

Wir kategorisieren jeden Endpunkt entweder als Standard – das native Modell wird in voller Qualität bereitgestellt und seine üblichen Eingabeparameter sind verfügbar – oder als Modifiziert – das native Modell wurde auf eine Weise verändert, die die Qualität der Ausgabe beeinflusst, üblicherweise um die Generierung zu beschleunigen oder die Kosten zu senken.

Modifizierte Endpunkte werden auf Artificial Analysis als „Modifiziert“ gekennzeichnet und können in der Standardansicht der Bestenliste ausgeblendet sein. Für Nutzer, die sie ausdrücklich anzeigen lassen, bleiben sie sichtbar. Um die Fairness unserer Standard-Benchmarks zu wahren, entscheiden wir nach eigenem Ermessen, ob ein Endpunkt als „Modifiziert“ eingestuft wird – Hinweise darauf sind unter anderem Destillation, eine nur teilweise Bereitstellung der nativen Eingabeparameter des Modells oder eine wesentlich schlechtere Ausgabequalität – und wie viele Varianten eines einzelnen Modells gelistet werden.

Standardeinstellungen für die Generierung

Wir generieren Bilder mit den veröffentlichten Standardeinstellungen des jeweiligen Modells. Bei Erstanbieter-APIs sind dies die dokumentierten Standardeinstellungen der API, bei Open-Source-Modellen die Standardeinstellungen des Open-Source-Repositorys. Dazu gehören Inferenzschritte, Guidance Scale und das jeweilige Standardverhalten für negative Prompts. Um einen fairen Vergleich der Modelle zu ermöglichen, wenden wir die folgenden Normalisierungen an:

Wir generieren Bilder in der höchsten vom jeweiligen Modell unterstützten Auflösung und skalieren sie anschließend für die Bereitstellung in unseren Arenen auf 1024×1024 herunter.
Wir generieren 1 Bild pro Prompt.
Wir verwenden ein Seitenverhältnis von 1:1.
Wir verwenden den Seed 42.

Bei Modellen zur Bildbearbeitung wird jeder Prompt mit einem Referenzbild aus einer kuratierten Auswahl kombiniert.

Wichtige Metriken

Mit den folgenden Metriken verfolgen wir Qualität, Leistung und Preis von Bildgenerierungsmodellen.

Qualitäts-Elo

Der Elo-Wert jedes Modells bildet seine relative Qualität ab und wird aus Nutzerstimmen in der Image Arena abgeleitet. Wir berechnen die Bewertungen mit einer Maximum-Likelihood-Schätzung nach Bradley-Terry und skalieren sie zur besseren Lesbarkeit auf einen Elo-ähnlichen Wertebereich um.

Jede Modalität wird unabhängig bewertet, da in der Arena nur Ausgaben derselben Modalität einander gegenübergestellt werden.

Preis pro 1.000 Bilder

Preis des Anbieters (USD) pro generiertem Bild, multipliziert mit 1.000.

Die Preisangabe wird direkt dem vom jeweiligen Anbieter veröffentlichten Preis pro Bild entnommen.

Generierungszeit

Median der Zeit, die der Anbieter für die Generierung eines einzelnen Bildes benötigt, berechnet über die vergangenen 14 Tage.

Bilder werden mit einer Batch-Größe von 1 generiert. Wenn der Anbieter statt einer Bildantwort eine URL bereitstellt, umfasst die Generierungszeit auch das Herunterladen des Bildes. Dies bildet die Latenz aus Sicht der Endnutzer ab, da URLs ausgegeben werden können, bevor die Generierung abgeschlossen ist.

Text to Image

Methodik im Überblick

Text-zu-Bild-Modelle unterscheiden sich in ihren Fähigkeiten über ein breites Spektrum von Anwendungsfällen hinweg. Ein Modell führt möglicherweise bei Text-Rendering, ein anderes bei komplexen Layouts oder fotorealistischen menschlichen Figuren. Das Modell, das eine Agentur für Kampagnen-Creatives nutzt, ist nicht unbedingt das Modell, das ein Product Manager für UI-Mockups oder ein Spielestudio für Concept Art verwendet.

Unsere Methodik misst diese Unterschiede direkt. Wir ranken Modelle nach menschlicher Präferenz über eine strukturierte Taxonomie realer Anwendungsfälle und Modellfähigkeiten und ermitteln so das insgesamt beste Modell und das beste Modell für bestimmte Arbeit. Die Taxonomie nimmt vorweg, wohin sich das Feld entwickelt, und deckt die Fähigkeiten ab, die führende Labs aktiv verfolgen, sowie die Anwendungsfälle, in denen Bildgenerierung echte Verbreitung findet. Unser Prompt-Set wird monatlich erneuert, damit das Leaderboard die Frontier weiter misst, während sie sich bewegt.

Prompt-Kuratierung und -Aktualisierung

Wir pflegen eine Rotation von Prompts, die regelmäßig erneuert werden, um an der Frontier sich schnell entwickelnder Modellfähigkeiten zu bleiben und Fairness und Genauigkeit unseres Leaderboards sicherzustellen.

Prompt-Taxonomie: Jeder Prompt wird gegen eine Taxonomie mit zwei Achsen verfasst — realer Anwendungsfall und Modellfähigkeit — und für beide getaggt. Prompts werden in unserer Arena gleichmäßig über die Taxonomie gesampelt.
Echte Nutzerdaten: Unsere Prompts sind so geschrieben, dass sie widerspiegeln, wie Endnutzer tatsächlich prompten — informiert durch anonymisierte Crowdsourcing-Daten und ein von Menschen kuratiertes, laufend aktualisiertes Prompt-Korpus.
Aktualität: Wir erneuern unser Prompt-Set jeden Monat. Prompts werden danach ausgemustert, wie gut sie zwischen Modellen diskriminieren und wie gut sie widerspiegeln, wie echte Nutzer Bildmodelle heute prompten.

Unser Prompt-Set trägt das Signal echter Nutzerdaten und bietet zugleich eine unverzerrte, gleichmäßige Abdeckung über Anwendungsfälle und Fähigkeiten.

Prompt-Taxonomie

Wir konstruieren unsere Prompt-Taxonomie entlang zweier Achsen.

Anwendungsfall. Diese Anwendungsfälle gründen auf unserer Analyse, wie Verbraucher und Unternehmen Text-zu-Bild-Generierung einsetzen, sowie auf unserer Beobachtung neu entstehender Anwendungsfälle. Beispielaufgaben je Anwendungsfall:

Marketing & Advertising: Werbe-Creatives, Kampagnenvisuals, Poster, Markenbilder
Retail & E-commerce: Produktfotos, On-Model-Mode, Verpackungs-Mockups
Live-Action Film: filmische Szenen, Filmstills, Storyboards, Character Sheets
Animation & Gaming: Game-Assets, Concept Art, Charakterdesign, Comics
Architecture & Real Estate: Innen- und Außenvisualisierung, Grundrisse, Staging
Productivity & Knowledge Work: Diagramme, Infografiken, Charts, Folien
UI/UX Design: UI-Mockups für App, Web, Fahrzeug und Spatial
Consumer: Buchcover, Stockbilder, redaktionelle Illustration
Social Media & Creator Content: Thumbnails, Promo-Cards, Kanal- und Profilgrafiken
Frontier: Fähigkeiten an der aktuellen Frontier und darüber hinaus

Fähigkeit. Diese Modellfähigkeiten sind durch unsere laufende Arbeit mit führenden Labs und den Fähigkeiten, die sie verfolgen, informiert und in akademischen Benchmarks verankert. Beispiele je Fähigkeit:

Reasoning: Entitäts-, mathematisches, räumliches und logisches Schlussfolgern, Konzeptmischung, Redewendungsinterpretation
Knowledge: reale Wahrzeichen, Arten und Fachfakten aus Wissenschaft und Alltagswissen
Text Rendering: langer Text, kleiner Text, Symbole, künstlerisches Lettering
Layout: Flows, Pfeile, Blöcke, visuelle Hierarchie, Multi-Panel-Kompositionen
Complex Compositions: präzises Zählen, räumliche Beziehungen, Interaktionen zwischen Motiven, Attributzuordnung
Lighting: Reflexion, Brechung, Schatten, Kaustiken
Material: Oberflächeneigenschaften, Transparenz, Subsurface Scattering, Texturrealismus
Physics: Schwerkraft, Auflage, Kollision, thermische und Zustandsänderungen
Human Anatomy: Hände, Gesichter, Körperproportionen, dynamische Posen und Bewegung

Prompt-Erstellung

Prompts folgen strengen Standards: schlichte natürliche Sprache, ein einzelner positiver Prompt mit leerem Negativ-Prompt-Feld und architekturneutrale Formulierungen, die keine Modellfamilie bevorzugen. Prompts werden beim Verfassen auf Redundanz geprüft, damit sie ein vielfältiges Spektrum realer Nutzungsszenarien abdecken. Prompts werden geschrieben:

Für vollständige Abdeckung der Taxonomie, gleichmäßig über jede Kombination aus Anwendungsfall und Fähigkeit verteilt. Da jeder Prompt ein Anwendungsfall-, Fähigkeits- und Stil-Tag trägt, können wir nicht nur die Gesamtqualität eines Modells bewerten, sondern die Leistung auf genau den Schnitten, die für den jeweiligen Nutzer zählen. Der eine braucht das beste Modell für UI-Design mit komplexer Layout-Hierarchie, der andere beeindruckende filmische Shots mit realistischen menschlichen Figuren.
Um widerzuspiegeln, wie Endnutzer wirklich prompten, informiert durch anonymisierte Crowdsourcing-Prompts echter Nutzer und ein von Menschen kuratiertes, live aktualisiertes Korpus von Consumer-Prompting-Mustern.

Alle Prompts sind:

Englischsprachig
Von Menschen kuratiert

So entstehen Prompt-Sets mit hohem Signal und wenig Rauschen, die Modelle an den Generierungsaufgaben messen, die für Endnutzer und Industrie am relevantesten sind — heute und in naher Zukunft.

Prompt-Ausmusterung

Jeden Monat wählen wir Prompts zur Ausmusterung nach diesen zwei Kriterien aus:

Diskriminierung: ob ein Prompt weiterhin ein klares Signal über Fähigkeitsunterschiede zwischen Modellen liefert. Für jede Stimme kennzeichnen wir das höher bewertete Modell (gemäß globalem Leaderboard) als Favorit. Prompts, deren Favoriten-Gewinnrate statistisch nicht vom Zufall zu unterscheiden ist, werden zur Ausmusterung markiert.
Aktualität/Realismus: Wir vergleichen unser Benchmark-Prompt-Set mit unserem lebenden Prompt-Korpus, einschließlich unserer neuesten Crowdsourcing-Prompts und des menschlich kuratierten Korpus, um Prompts auszusortieren, die reale Prompting-Konventionen nicht mehr widerspiegeln.

Ausgemusterte Prompts werden in der Arena nicht mehr zur Stimmabgabe ausgespielt. Die monatliche Erneuerung schützt zudem die Integrität des Leaderboards: Ein rotierendes Prompt-Set lässt sich nicht überfitten.

Sampling-Methodik

Jeder Prompt in unserem Set trägt 1 Anwendungsfall-Tag und 1 primäres Fähigkeits-Tag. Wir sampeln Prompts gleichmäßig über jede Kombination aus Anwendungsfall und Fähigkeit.

Jedes Matchup paart zwei Ausgaben, die aus dem identischen Prompt generiert wurden, innerhalb derselben Modalität. Die Links/rechts-Position wird randomisiert, Modellidentitäten werden erst nach der Stimme offengelegt. Neu hinzugefügte Modelle werden vorübergehend häufiger gesampelt, bis ihre Ratings konvergieren, und Gegner werden so gezogen, dass der Informationswert jedes Matchups maximiert wird. Jeder Anwendungsfall und jede Fähigkeit trägt mit gleichem Gewicht zum Gesamtrating des Leaderboards bei.

Elo-Berechnung

Stimmenerhebung

Modellqualität wird über menschliche Präferenz gemessen.

Blinde Paarvergleiche: Bewertende sehen zwei aus demselben Prompt von zwei verschiedenen Modellen generierte Ausgaben ohne Modellidentitäten und wählen die bevorzugte.
Bewertungshinweise: Jedes Matchup zeigt kurze Hinweise, die an die Anwendungsfall-, Fähigkeits- und Stil-Tags des Prompts gebunden sind und bei komplexen Prompts die Aufmerksamkeit auf die getesteten Aspekte lenken.
Mindestbeschäftigung: Stimmen können erst nach einer Mindestbeschäftigungszeit mit jeder Ausgabe abgegeben werden.
Stimmenqualität: Alle Stimmen durchlaufen Bot-Erkennung und Anomaliefilterung, bevor sie in die Rating-Berechnung eingehen.

Stimmenfilterung

Wir filtern Stimmen nach dem, was unsere aktuelle Methodik misst. Stimmen aus der Zeit vor der aktuellen Methodik wurden auf Prompts abgegeben, die geschrieben wurden, um eine frühere Modellgeneration zu trennen. Aktuelle Modelle sättigen viele dieser Prompts — fast alle liefern ein akzeptables Ergebnis —, sodass eine Stimme darauf einen Münzwurf statt eines Fähigkeitsunterschieds erfasst. Wir wenden daher einen kohortenbasierten Filter auf historische Stimmen an:

Aktuelle Kohorte: Modelle, die öffentlich zugänglich, kürzlich erschienen und für unser Publikum am relevantesten sind. Gerankt ausschließlich auf Stimmen unter der aktuellen Methodik.
Legacy-Kohorte: alle anderen Modelle. Gerankt auf jeder Stimme, in der sie vorkommen — ihre Repräsentation auf dem Leaderboard bleibt erhalten.
Regel: Eine Stimme wird genau dann behalten, wenn beide beteiligten Modelle für sie qualifiziert sind.

Dieser Filter wird nach unseren Standard-Qualitätsfiltern angewandt, einschließlich Bot- und Spam-Ausschluss. Elo wird über das gesamte zurückbehaltene Stimmenset von Grund auf neu berechnet, wobei jedes Modell — aktuelle wie Legacy-Kohorte — in dieser einen Berechnung gerankt wird. Das Rating ist für das Gesamt-Leaderboard auf FLUX.1 [schnell] = 1000 verankert und für alle Unterkategorie-Leaderboards auf FLUX.2 [dev] = 1000.

Methodik zur Messung der Generierungszeit

Wichtige technische Details:

Häufigkeit: Die Benchmarks werden 4-mal täglich zu zufälligen Zeitpunkten durchgeführt.
Stichprobengröße: Die angegebene Generierungszeit ist der Median erfolgreicher Messungen aus den jeweils vergangenen 14 Tagen, üblicherweise etwa 56 Stichproben pro Host-Modell und Zeitfenster.
Enthaltene Vorgänge: Jede Messung erfasst den vollständigen Lebenszyklus einer Anfrage für ein Bild. Dazu gehören die API-Anfrage, die Inferenz beim Anbieter und entweder der direkt zurückgegebene Antwortinhalt oder das Herunterladen der URL auf den Datenträger. Wenn Anbieter eine URL zurückgeben, wird diese häufig ausgegeben, bevor das Bild vollständig geschrieben wurde. Daher zählt das Herunterladen der Daten zur Messung, um die tatsächliche Latenz aus Sicht der Endnutzer abzubilden.
Einzigartige Prompts: Für jeden Aufruf wird aus einem kuratierten Pool ein neuer Prompt erstellt, damit Anbieter nicht über mehrere Durchläufe hinweg Antworten aus dem Cache zurückgeben können.
Auflösung: Wir generieren Bilder mit 1024×1024. Wenn die kleinste von einem Modell unterstützte Auflösung höher als 1024×1024 ist, verwenden wir die kleinste unterstützte Auflösung, die 1024×1024 am nächsten liegt.
API-Modus: Wir verwenden den synchronen Endpunkt des Anbieters, sofern einer verfügbar ist. Bei Anbietern, die nur asynchrone Verarbeitung unterstützen, fragen wir den Auftragsstatus alle 100 Millisekunden ab. So bildet die gemessene Wartezeit in der Warteschlange die tatsächliche Zeit beim Anbieter ab und nicht die Granularität der Statusabfrage.
Aggregation: Median, p05, p25, p75 und p95 werden aus der Rohverteilung der erfolgreichen Messungen berechnet, ohne Ausreißer zu entfernen.
Deaktivierte Anbieterfunktionen: Wasserzeichen und Sicherheitsprüfungen werden deaktiviert, sofern die API dies unterstützt, um Schwankungen der Latenz auszuschließen, die nicht mit der Generierungsgeschwindigkeit zusammenhängen.
Nicht gemessene Vorgänge: Cold-Start-Verzögerung beim Anbieter, Authentifizierungs-Handshakes, Zusatzaufwand durch erneute Versuche und jegliches Aufwärmen des Clients. Jeder Eintrag im Datensatz ist eine einzelne, einmalige Messung.
Infrastruktur: Die Tests werden in Google Cloud in us-central1 ausgeführt.
Neue Endpunkte: Bei neu hinzugefügten Endpunkten – einschließlich solcher, die vor ihrer öffentlichen Verfügbarkeit getestet werden – können wir die Benchmark-Häufigkeit anpassen, um vor der Veröffentlichung der Ergebnisse eine Verteilung der Generierungszeiten aufzubauen. Veröffentlichte Ergebnisse werden anhand der Messungen aus den jeweils vergangenen 14 Tagen berechnet. Daher bilden die Werte neu gelisteter Endpunkte erste Durchläufe ab und können sich ändern, wenn weitere Messungen hinzukommen.

Kriterien für die Aufnahme von Modellen und Anbietern

Unser Ziel ist es, beliebte und leistungsfähige Bildgenerierungsmodelle zu analysieren und zu vergleichen, damit Nutzer fundiert zwischen ihnen wählen können. Daher prüfen wir die Branchenrelevanz und Wettbewerbsfähigkeit, um über die Aufnahme neuer Modelle und Anbieter zu entscheiden. Wir entwickeln diese Kriterien kontinuierlich weiter und freuen uns über Rückmeldungen oder Vorschläge. Modell- oder Anbietervorschläge können Sie uns über die Kontaktseite senden.

Unabhängigkeitserklärung

Das Benchmarking wird unter strikter Wahrung von Unabhängigkeit und Objektivität durchgeführt. Artificial Analysis erhält von keinem Anbieter eine Vergütung für die Aufnahme in die Liste oder für vorteilhafte Ergebnisse.