Dieses Modell ist veraltet. Wir messen die Leistung nur noch für die Standard-Workload mit 10.000 Eingabe-Tokens. Ergebnisse für andere Workloads sind historische Daten und werden nicht mehr aktualisiert.

Nous Research hat eine neuere Version veröffentlicht: Hermes 4 - Llama-3.1 70B. Wir empfehlen, diese als Alternative in Betracht zu ziehen.

•

Open weights model

•

Released August 2024

Hermes 3 - Llama-3.1 70B Benchmarking und Analyse von API-Anbietern

Modellvergleich

Diese Analyse soll Sie bei der Auswahl des besten API-Anbieters von Hermes 3 - Llama-3.1 70B für Ihren Anwendungsfall unterstützen.

Am schnellsten

#1
DeepInfraDeepInfra
31.1 t/s

Ausgabegeschwindigkeit

Insgesamt 1 Anbieter

Niedrigste Latenz

#1
DeepInfraDeepInfra
2.18 s

Zeit bis zum ersten Token

Insgesamt 1 Anbieter

Niedrigster Preis

#1
DeepInfraDeepInfra
$0.70

Mischpreis (pro 1 Mio. Tokens)

Insgesamt 1 Anbieter

Hermes 3 - Llama-3.1 70B ist über DeepInfra verfügbar.

Output tokens per second · Higher is better
Seconds to first answer token received · Lower is better
USD per 1M tokens (blended) · Lower is better

Preise

Preise: Cache-Treffer, Eingabe und Ausgabe

Price (USD per M Tokens) · Lower is better · 10,000 input tokens

Preise: Mischpreis

Blended at 7:2:1 (cache-input-output) · USD per 1M tokens (blended) · Lower is better

Ausgabegeschwindigkeit vs. Preis

Blended at 7:2:1 (cache-input-output) · Output speed: output tokens per second · USD per 1M tokens (blended)
Most attractive quadrant

Geschwindigkeit

Gemessen anhand der Ausgabegeschwindigkeit (Tokens pro Sekunde)

Ausgabegeschwindigkeit: Hermes 3 - Llama-3.1 70B

Ausgabegeschwindigkeit: Ausgabe-Token pro Sekunde · 10,000 input tokens

Latenz vs. Ausgabegeschwindigkeit

Latency: seconds to first token received · Output speed: output tokens per second · 10,000 input tokens
Most attractive quadrant

Latenz

Gemessen anhand der Zeit (in Sekunden) bis zum ersten Token

Zeit bis zum ersten Token

Seconds to first token received · Lower is better · 10,000 input tokens

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed

Ende-zu-Ende-Antwortzeit

Seconds to output 500 tokens, including reasoning model 'thinking' time · Lower is better · 10,000 input tokens

Wichtige Vergleichsmetriken und API-Funktionen

Logo von DeepInfraDeepInfra
131k
Offen
--
28
2.28
19.88
--

Häufig gestellte Fragen

Häufige Fragen zu den Anbietern von Hermes 3 - Llama-3.1 70B