Claude Haiku 5.5 vs. Hermes 4 - Llama-3.1 70B: Vergleich der Veröffentlichungen

Name: Intelligenz
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Vergleich der Veröffentlichungen Claude Haiku 5.5 und Hermes 4 - Llama-3.1 70B: 5 bzw. 2 Modelle mit unterschiedlichen Eigenschaften bei Intelligenz, Leistung und Preis. Unten werden die wichtigsten Kennzahlen aller 7 Modelle verglichen.

Bei der Intelligenz liegt Claude Haiku 5.5 vorn: Claude Haiku 5.5 (Max, Default Fallback) mit 43, gegenüber Hermes 4 - Llama-3.1 70B (Reasoning) mit 8 bei Hermes 4 - Llama-3.1 70B.

Modell-Playground

Verglichene Veröffentlichungen


	Claude Haiku 5.5 (max with fallback)	Claude Haiku 5.5 (xhigh with fallback)	Claude Haiku 5.5 (high with fallback)	Claude Haiku 5.5 (medium with fallback)	Claude Haiku 5.5 (low with fallback)	Hermes 4 70B	Hermes 4 70B (non-reasoning)
Intelligence Index	43	41	38	34	29	8*	7*
Finanzen und Rechnungswesen	44	41	38	35	29	--	--
Strategie und Betrieb	40	39	37	34	28	--	--
Recht	42	40	38	36	31	--	--
Gesundheit und Medizin	--	--	--	--	--	--	--
Ingenieurwesen	45	43	39	35	31	--	--
Volkswirtschaft	51	49	46	43	37	--	--
AA-Briefcase v1.1	1578	1533	1443	1372	1112	--	--
GDPval-AA v2.1	1620	1511	1420	1277	1125	--	--
AutomationBench-AA	35.4%	36.0%	33.7%	28.6%	22.9%	--	--
Terminal-Bench 4.0	32.8%	29.3%	21.7%	15.2%	12.6%	--	--
SciCode	55.0%	51.7%	48.7%	49.0%	49.2%	--	--
Humanity's Last Exam	44.4%	42.7%	37.3%	33.8%	27.0%	8.8%	3.6%
GDP.pdf	20.8%	18.2%	17.2%	15.2%	11.2%	--	--
CritPt	18.9%	22.6%	18.6%	12.9%	9.1%	0.0%	0.0%
AA-Omniscience	11	6	6	4	3	−49	−49
AA-LCR v1.1	82.7%	78.3%	77.3%	77.3%	72.0%	9.7%	4.7%

Kosten pro AufgabeUSD	$0.21	$0.12	$0.08	$0.05	$0.02	--	--
EingabepreisUSD/1 Mio. Tokens	$0.10	$0.10	$0.10	$0.10	$0.10	--	--
AusgabepreisUSD/1 Mio. Tokens	$0.50	$0.50	$0.50	$0.50	$0.50	--	--
Preis bei Cache-TrefferUSD/1 Mio. Tokens	$0.01	$0.01	$0.01	$0.01	$0.01	--	--
Preis für Cache-SchreibvorgangUSD/1 Mio. Tokens	$0.125	$0.125	$0.125	$0.125	$0.125	--	--

AusgabegeschwindigkeitTokens/s	243	188	137	137	181	--	--
Zeit bis zum ersten Tokens	415,30	87,15	26,15	12,63	6,28	--	--
Zeit bis zum ersten Antwort-Tokens	415,30	87,15	26,15	12,63	6,28	--	--
Ende-zu-Ende-Antwortzeits	417,35	89,80	29,81	16,29	9,04	--	--
Zeit pro Aufgabes	427,18	291,49	235,33	144,82	61,83	--	--

Kontextfenster	1M	1M	1M	1M	1M	128k	128k
Modellentwickler	Anthropic	Anthropic	Anthropic	Anthropic	Anthropic	Nous Research	Nous Research
Lizenz	Proprietär	Proprietär	Proprietär	Proprietär	Proprietär	Offen	Offen
Eingabemodalität	Unterstützt: Text und Bilder	Unterstützt: Text und Bilder	Unterstützt: Text und Bilder	Unterstützt: Text und Bilder	Unterstützt: Text und Bilder	Unterstützt: Text	Unterstützt: Text
Ausgabemodalität	Unterstützt: Text	Unterstützt: Text	Unterstützt: Text	Unterstützt: Text	Unterstützt: Text	Unterstützt: Text	Unterstützt: Text
Anbieter						--	--

* Geschätzt

Intelligenz

Artificial Analysis Intelligence Index · Higher is better

Geschwindigkeit

Output tokens per second · Higher is better

Kosten pro Aufgabe

Weighted average cost (USD) per Intelligence Index task · Lower is better

Intelligenz

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 incorporates 10 evaluations: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1

Estimate (independent evaluation forthcoming)

Artificial Analysis Intelligence Index v4.3.2 includes: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. See Intelligence Index methodology for further details, including a breakdown of each evaluation and how we run them.

Intelligence Index vs. Kosten pro Intelligence-Index-Aufgabe

Artificial Analysis Intelligence Index · Weighted average cost (USD) per Artificial Analysis Intelligence Index task

Most attractive quadrant

Claude Haiku 5.5

Pareto line

AA-Briefcase v1.1

GDPval-AA v2.1

Kosten pro Aufgabe (USD, logarithmische Skala)

Weighted average cost per Intelligence Index task. Each evaluation’s cost is calculated from input, cache hit, cache write, reasoning, and answer token prices, divided by task count, and weighted by its Intelligence Index weight.

Kosten

Kosten pro Intelligence-Index-Aufgabe

Weighted average cost (USD) per Artificial Analysis Intelligence Index task, segmented by token type. Lower is better

Geschwindigkeit und Latenz

Ausgabegeschwindigkeit

Output tokens per second · Higher is better

Tokens per second received while the model is generating tokens (ie. after first chunk has been received from the API for models which support streaming).

Figures represent performance of the model's first-party API or the median across providers where a first-party API is not available.

Fähigkeitswerte

Fähigkeitsindizes

Misst die Leistung von Modellen bei bestimmten Fähigkeiten und in bestimmten Branchen

Index für Finanzen und Rechnungswesen

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Index für Strategie und Betrieb

Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Rechtsindex

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better

Index für Gesundheit und Medizin

Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better

Ingenieurwesen-Index

Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better

Volkswirtschaftsindex

Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better

Claude Haiku 5.5 vs. Hermes 4 - Llama-3.1 70B: Vergleich der Veröffentlichungen

Intelligenz

Geschwindigkeit

Kosten pro Aufgabe

Intelligenz

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index

Intelligence Index vs. Kosten pro Intelligence-Index-Aufgabe

Cost per Intelligence Index Task

Artificial Analysis Intelligence Index

Kosten

Kosten pro Intelligence-Index-Aufgabe

Cost per Intelligence Index Task

Geschwindigkeit und Latenz

Ausgabegeschwindigkeit

Output Speed

Model Performance Representation

Fähigkeitswerte

Fähigkeitsindizes