This model is deprecated. We only continue performance benchmarking for the default 10k input token workload. Results for other workloads are historical and no longer updated.

Mistral has launched a newer model, Ministral 3 8B. We suggest considering it instead.

For more information, see comparison of Ministral 3 8B to other models and API provider benchmarks for Ministral 3 8B.

Open weights model

Released September 2023

Mistral 7B Instruct Benchmarking und Analyse von API-Anbietern

Modellvergleich

Diese Analyse soll Sie bei der Auswahl des besten API-Anbieters von Mistral 7B Instruct für Ihren Anwendungsfall unterstützen.

Am schnellsten

#1
MistralMistral
78.9 t/s

Ausgabegeschwindigkeit

Insgesamt 2 Anbieter

Niedrigste Latenz

#1
MistralMistral
0.74 s

Zeit bis zum ersten Token

Insgesamt 2 Anbieter

Niedrigster Preis

#1
AmazonAmazon
$0.15
#2
MistralMistral
$0.25

Mischpreis (pro 1 Mio. Tokens)

Insgesamt 2 Anbieter

Mistral 7B ist über 2 API-Anbieter verfügbar, die jeweils unterschiedliche Leistungsmerkmale und Preise bieten. Im Folgenden werden die wichtigsten Metriken der Anbieter verglichen.

  • Bei der Ausgabegeschwindigkeit führen Mistral (78.9 Tokens/s).
  • Bei der Latenz bieten Mistral (0.74 s) die niedrigste Zeit bis zum ersten Token.
  • Bei den Preisen bieten Amazon (0.15) und Mistral (0.25) die niedrigsten Mischpreise pro 1 Mio. Tokens.
  • Mistral bietet mit der höchsten Geschwindigkeit und der niedrigsten Latenz die beste Leistung. Für eine Kostenoptimierung bietet Amazon den konkurrenzfähigsten Preis.

Wichtigste Ergebnisse

Output tokens per second · Higher is better
Seconds · Lower is better
USD per 1M tokens (blended) · Lower is better

Preise

Pricing: Cache Hit, Input, and Output

Price (USD per M Tokens) · Lower is better · 10,000 input tokens

Pricing: Blended Price

Blended at 7:2:1 (cache-input-output) · USD per 1M tokens (blended) · Lower is better

Output Speed vs. Price

Blended at 7:2:1 (cache-input-output) · Output speed: output tokens per second · USD per 1M tokens (blended)
Most attractive quadrant

Geschwindigkeit

Gemessen anhand der Ausgabegeschwindigkeit (Tokens pro Sekunde)

Output Speed: Mistral 7B Instruct

Output speed: output tokens per second · 10,000 input tokens

Latency vs. Output Speed

Latency: seconds to first token received · Output speed: output tokens per second · 10,000 input tokens
Most attractive quadrant

Latenz

Gemessen anhand der Zeit (in Sekunden) bis zum ersten Token

Zeit bis zum ersten Token

Seconds to first token received · Lower is better · 10,000 input tokens

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, including reasoning model 'thinking' time · Lower is better · 10,000 input tokens

Wichtige Vergleichsmetriken und API-Funktionen

Logo von Amazon BedrockAmazon Bedrock
8.19k
Offen
--
--
--
--
--
Logo von MistralMistral
32.8k
Offen
--
79
0.74
7.08
--

Häufig gestellte Fragen

Häufige Fragen zu den Anbietern von Mistral 7B Instruct