すべてのリリース

GPT-6.1 Sol vs. Hermes 4 - Llama-3.1 70B:リリース比較

GPT-6.1 SolとHermes 4 - Llama-3.1 70Bのリリース比較:それぞれ5個と2個のモデルがあり、知能・性能・料金の特性が異なります。以下では、全7個のモデルの主要指標を比較します。

  • 知能が最も高いのはGPT-6.1 Solです。GPT-6.1 Sol (Max)(52)に対し、Hermes 4 - Llama-3.1 70BはHermes 4 - Llama-3.1 70B (Reasoning)(8)です。
モデルPlayground

比較するリリース

GPT-6.1 Sol (max)GPT-6.1 Sol (xhigh)GPT-6.1 Sol (high)GPT-6.1 Sol (medium)GPT-6.1 Sol (low)Hermes 4 70BHermes 4 70B (non-reasoning)
Intelligence Index
52
51
50
48
42
8*
7*
財務・会計
54
53
53
50
45
--
--
戦略・オペレーション
57
56
55
53
46
--
--
法務
58
57
56
54
50
--
--
医療・ヘルスケア
51
--
--
--
--
--
--
タスクあたりの費用USD
$0.72
$0.39
$0.32
$0.21
$0.13
--
--
出力速度トークン/秒
55
52
48
44
43
--
--
最初のトークンまでの時間秒
239.97
133.08
40.09
4.12
2.80
--
--
コンテキストウィンドウ
1M
1M
1M
1M
1M
128k
128k
開発元
OpenAI
OpenAI
OpenAI
OpenAI
OpenAI
Nous Research
Nous Research
ライセンス
独自
独自
独自
独自
独自
オープン
オープン
入力モダリティ

対応:テキスト、画像

対応:テキスト、画像

対応:テキスト、画像

対応:テキスト、画像

対応:テキスト、画像

対応:テキスト

対応:テキスト

出力モダリティ

対応:テキスト

対応:テキスト

対応:テキスト

対応:テキスト

対応:テキスト

対応:テキスト

対応:テキスト

プロバイダー
OpenAIMicrosoft Azure
OpenAI
OpenAI
OpenAI
OpenAI
--
--

* 推定値

Artificial Analysis Intelligence Index · Higher is better
Output tokens per second · Higher is better
Weighted average cost (USD) per Intelligence Index task · Lower is better

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 incorporates 10 evaluations: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1
Estimate (independent evaluation forthcoming)

Intelligence Index とタスクあたりのコスト

Artificial Analysis Intelligence Index · Weighted average cost (USD) per Artificial Analysis Intelligence Index task
Most attractive quadrant
GPT-6.1 Sol
Pareto line

タスク当たりのコスト(USD、対数スケール)

費用

Intelligence Index タスクあたりのコスト

Weighted average cost (USD) per Intelligence Index task · Segmented by token type · Lower is better

速度と遅延

出力速度

Output tokens per second · Higher is better

能力スコア

能力指数

特定の能力や業界におけるモデルの性能を測定
Finance & Accounting Index

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Strategy & Ops Index

Incorporates 6 evaluations: GDPval-AA v2.1, AA-Briefcase v1.1, AA-Omniscience, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Legal Index

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better

Healthcare & Medical Index

Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better

Engineering Index

Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better

Economics Index

Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better

vs
AA-PersonalityBench results are not available for Hermes 4 - Llama-3.1 70B