Methodik des Bildgenerierungs-Benchmarkings

Umfang und Hintergrund

Artificial Analysis führt Benchmarks für Bildgenerierungsmodelle durch, die üblicherweise über serverlose API-Endpunkte bereitgestellt werden. Diese Seite beschreibt die Methodik zur Messung von Qualität, Geschwindigkeit und Preis von Bildgenerierungsmodellen.

Bei den Bildgenerierungsfähigkeiten decken wir zwei Modalitäten ab:

  • Text zu Bild: Modelle, die ein Bild ausschließlich anhand eines Text-Prompts generieren.
  • Bildbearbeitung: Modelle, die ein Referenzbild anhand eines Text-Prompts bearbeiten.

Abdeckung der Endpunkte

Abgedeckte Workloads: Das Inferenz-Benchmarking deckt Endpunkte für die Generierung von Text zu Bild ab.

Nur öffentliche serverlose Endpunkte: Das Benchmarking deckt ausschließlich echte serverlose Endpunkte ab, die öffentlich verfügbar sind oder sein werden. Demoprodukte, Hardware-Präsentationen und dedizierte oder private Bereitstellungen liegen außerhalb des Umfangs.

Standard- und modifizierte Endpunkte

Wir kategorisieren jeden Endpunkt entweder als Standard – das native Modell wird in voller Qualität bereitgestellt und seine üblichen Eingabeparameter sind verfügbar – oder als Modifiziert – das native Modell wurde auf eine Weise verändert, die die Qualität der Ausgabe beeinflusst, üblicherweise um die Generierung zu beschleunigen oder die Kosten zu senken.

Modifizierte Endpunkte werden auf Artificial Analysis als „Modifiziert“ gekennzeichnet und können in der Standardansicht der Bestenliste ausgeblendet sein. Für Nutzer, die sie ausdrücklich anzeigen lassen, bleiben sie sichtbar. Um die Fairness unserer Standard-Benchmarks zu wahren, entscheiden wir nach eigenem Ermessen, ob ein Endpunkt als „Modifiziert“ eingestuft wird – Hinweise darauf sind unter anderem Destillation, eine nur teilweise Bereitstellung der nativen Eingabeparameter des Modells oder eine wesentlich schlechtere Ausgabequalität – und wie viele Varianten eines einzelnen Modells gelistet werden.

Standardeinstellungen für die Generierung

Wir generieren Bilder mit den veröffentlichten Standardeinstellungen des jeweiligen Modells. Bei Erstanbieter-APIs sind dies die dokumentierten Standardeinstellungen der API, bei Open-Source-Modellen die Standardeinstellungen des Open-Source-Repositorys. Dazu gehören Inferenzschritte, Guidance Scale und das jeweilige Standardverhalten für negative Prompts. Um einen fairen Vergleich der Modelle zu ermöglichen, wenden wir die folgenden Normalisierungen an:

  • Wir generieren Bilder in der höchsten vom jeweiligen Modell unterstützten Auflösung und skalieren sie anschließend für die Bereitstellung in unseren Arenen auf 1024×1024 herunter.
  • Wir generieren 1 Bild pro Prompt.
  • Wir verwenden ein Seitenverhältnis von 1:1.
  • Wir verwenden den Seed 42.

Bei Modellen zur Bildbearbeitung wird jeder Prompt mit einem Referenzbild aus einer kuratierten Auswahl kombiniert.

Wichtige Metriken

Mit den folgenden Metriken verfolgen wir Qualität, Leistung und Preis von Bildgenerierungsmodellen.

Qualitäts-Elo

Der Elo-Wert jedes Modells bildet seine relative Qualität ab und wird aus Nutzerstimmen in der Image Arena abgeleitet. Wir berechnen die Bewertungen mit einer Maximum-Likelihood-Schätzung nach Bradley-Terry und skalieren sie zur besseren Lesbarkeit auf einen Elo-ähnlichen Wertebereich um.

Jede Modalität wird unabhängig bewertet, da in der Arena nur Ausgaben derselben Modalität einander gegenübergestellt werden.

Preis pro 1.000 Bilder

Preis des Anbieters (USD) pro generiertem Bild, multipliziert mit 1.000.

Die Preisangabe wird direkt dem vom jeweiligen Anbieter veröffentlichten Preis pro Bild entnommen.

Generierungszeit

Median der Zeit, die der Anbieter für die Generierung eines einzelnen Bildes benötigt, berechnet über die vergangenen 14 Tage.

Bilder werden mit einer Batch-Größe von 1 generiert. Wenn der Anbieter statt einer Bildantwort eine URL bereitstellt, umfasst die Generierungszeit auch das Herunterladen des Bildes. Dies bildet die Latenz aus Sicht der Endnutzer ab, da URLs ausgegeben werden können, bevor die Generierung abgeschlossen ist.

Methodik zur Messung der Generierungszeit

Wichtige technische Details:

  • Häufigkeit: Die Benchmarks werden 4-mal täglich zu zufälligen Zeitpunkten durchgeführt.
  • Stichprobengröße: Die angegebene Generierungszeit ist der Median erfolgreicher Messungen aus den jeweils vergangenen 14 Tagen, üblicherweise etwa 56 Stichproben pro Host-Modell und Zeitfenster.
  • Enthaltene Vorgänge: Jede Messung erfasst den vollständigen Lebenszyklus einer Anfrage für ein Bild. Dazu gehören die API-Anfrage, die Inferenz beim Anbieter und entweder der direkt zurückgegebene Antwortinhalt oder das Herunterladen der URL auf den Datenträger. Wenn Anbieter eine URL zurückgeben, wird diese häufig ausgegeben, bevor das Bild vollständig geschrieben wurde. Daher zählt das Herunterladen der Daten zur Messung, um die tatsächliche Latenz aus Sicht der Endnutzer abzubilden.
  • Einzigartige Prompts: Für jeden Aufruf wird aus einem kuratierten Pool ein neuer Prompt erstellt, damit Anbieter nicht über mehrere Durchläufe hinweg Antworten aus dem Cache zurückgeben können.
  • Auflösung: Wir generieren Bilder mit 1024×1024. Wenn die kleinste von einem Modell unterstützte Auflösung höher als 1024×1024 ist, verwenden wir die kleinste unterstützte Auflösung, die 1024×1024 am nächsten liegt.
  • API-Modus: Wir verwenden den synchronen Endpunkt des Anbieters, sofern einer verfügbar ist. Bei Anbietern, die nur asynchrone Verarbeitung unterstützen, fragen wir den Auftragsstatus alle 100 Millisekunden ab. So bildet die gemessene Wartezeit in der Warteschlange die tatsächliche Zeit beim Anbieter ab und nicht die Granularität der Statusabfrage.
  • Aggregation: Median, p05, p25, p75 und p95 werden aus der Rohverteilung der erfolgreichen Messungen berechnet, ohne Ausreißer zu entfernen.
  • Deaktivierte Anbieterfunktionen: Wasserzeichen und Sicherheitsprüfungen werden deaktiviert, sofern die API dies unterstützt, um Schwankungen der Latenz auszuschließen, die nicht mit der Generierungsgeschwindigkeit zusammenhängen.
  • Nicht gemessene Vorgänge: Cold-Start-Verzögerung beim Anbieter, Authentifizierungs-Handshakes, Zusatzaufwand durch erneute Versuche und jegliches Aufwärmen des Clients. Jeder Eintrag im Datensatz ist eine einzelne, einmalige Messung.
  • Infrastruktur: Die Tests werden in Google Cloud in us-central1 ausgeführt.
  • Neue Endpunkte: Bei neu hinzugefügten Endpunkten – einschließlich solcher, die vor ihrer öffentlichen Verfügbarkeit getestet werden – können wir die Benchmark-Häufigkeit anpassen, um vor der Veröffentlichung der Ergebnisse eine Verteilung der Generierungszeiten aufzubauen. Veröffentlichte Ergebnisse werden anhand der Messungen aus den jeweils vergangenen 14 Tagen berechnet. Daher bilden die Werte neu gelisteter Endpunkte erste Durchläufe ab und können sich ändern, wenn weitere Messungen hinzukommen.

Kriterien für die Aufnahme von Modellen und Anbietern

Unser Ziel ist es, beliebte und leistungsfähige Bildgenerierungsmodelle zu analysieren und zu vergleichen, damit Nutzer fundiert zwischen ihnen wählen können. Daher prüfen wir die Branchenrelevanz und Wettbewerbsfähigkeit, um über die Aufnahme neuer Modelle und Anbieter zu entscheiden. Wir entwickeln diese Kriterien kontinuierlich weiter und freuen uns über Rückmeldungen oder Vorschläge. Modell- oder Anbietervorschläge können Sie uns über die Kontaktseite senden.

Unabhängigkeitserklärung

Das Benchmarking wird unter strikter Wahrung von Unabhängigkeit und Objektivität durchgeführt. Artificial Analysis erhält von keinem Anbieter eine Vergütung für die Aufnahme in die Liste oder für vorteilhafte Ergebnisse.