Open weights model

Released Dezember 2024

Phi-4 Benchmarking und Analyse von API-Anbietern

Modellvergleich

Diese Analyse soll Sie bei der Auswahl des besten API-Anbieters von Phi-4 für Ihren Anwendungsfall unterstützen.

Am schnellsten

#1
DeepInfraDeepInfra
56.2 t/s
#2
AzureAzure
40.4 t/s

Ausgabegeschwindigkeit

Insgesamt 2 Anbieter

Niedrigste Latenz

#1
DeepInfraDeepInfra
0.93 s
#2
AzureAzure
2.54 s

Zeit bis zum ersten Token

Insgesamt 2 Anbieter

Niedrigster Preis

#1
DeepInfraDeepInfra
$0.08
#2
AzureAzure
$0.16

Mischpreis (pro 1 Mio. Tokens)

Insgesamt 2 Anbieter

Phi-4 ist über 2 API-Anbieter verfügbar, die jeweils unterschiedliche Leistungsmerkmale und Preise bieten. Im Folgenden werden die wichtigsten Metriken der Anbieter verglichen.

  • Bei der Ausgabegeschwindigkeit führen DeepInfra (56.2 Tokens/s) und Azure (40.4 Tokens/s).
  • Bei der Latenz bieten DeepInfra (0.93 s) und Azure (2.54 s) die niedrigste Zeit bis zum ersten Token.
  • Bei den Preisen bieten DeepInfra (0.08) und Azure (0.16) die niedrigsten Mischpreise pro 1 Mio. Tokens.
  • DeepInfra sticht als Gesamtführer hervor und belegt in allen drei Kategorien den ersten Platz: Geschwindigkeit, Latenz und Preis.

Wichtigste Ergebnisse

Output tokens per second · Higher is better
Seconds · Lower is better
USD per 1M tokens (blended) · Lower is better

Aktualisierung: Der Standard-Workload für das Performance-Benchmarking wurde auf 10k Eingabetokens umgestellt, um Produktionsanwendungsfälle besser abzubilden. Oben können weiterhin andere Workloads ausgewählt werden.

Preise

Pricing: Cache Hit, Input, and Output

Price (USD per M Tokens) · Lower is better · 10,000 input tokens

Pricing: Blended Price

Blended at 7:2:1 (cache-input-output) · USD per 1M tokens (blended) · Lower is better

Output Speed vs. Price

Blended at 7:2:1 (cache-input-output) · Output speed: output tokens per second · USD per 1M tokens (blended)
Most attractive quadrant

Geschwindigkeit

Gemessen anhand der Ausgabegeschwindigkeit (Tokens pro Sekunde)

Output Speed: Phi-4

Output speed: output tokens per second · 10,000 input tokens

Latency vs. Output Speed

Latency: seconds to first token received · Output speed: output tokens per second · 10,000 input tokens
Most attractive quadrant

Latenz

Gemessen anhand der Zeit (in Sekunden) bis zum ersten Token

Zeit bis zum ersten Token

Seconds to first token received · Lower is better · 10,000 input tokens

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, including reasoning model 'thinking' time · Lower is better · 10,000 input tokens

Wichtige Vergleichsmetriken und API-Funktionen

Logo von Microsoft AzureMicrosoft Azure
16.4k
Offen
--
40
2.54
14.92
--
Logo von DeepInfraDeepInfra
16.4k
Offen
--
56
0.93
9.82
--

Häufig gestellte Fragen

Häufige Fragen zu den Anbietern von Phi-4