IBMのモデル:知能・性能・料金
Artificial Analysis Intelligence Index
* 推定値
出力速度
Intelligence Indexのタスクあたり
Artificial AnalysisはIBMの13個のモデルをベンチマークしています。以下では、これらのモデルの主要指標を比較します。
- 知能が最も高いIBMのモデルはGranite 4.2 30B(15、推定)です。
- 出力速度が最も速いモデルはGranite 4.2 3B(216トークン/秒)です。
- 最初の回答トークンまでの時間が最も短いモデルはGranite 4.2 3B(9.77秒)です。
- タスクあたりの費用が最も低いモデルはGranite 4.2 3B($0.01)です。モデル間の料金差は最大3.9倍です。
知能
Artificial Analysis Intelligence Index
Intelligence Index vs. Cost per Intelligence Index Task
費用
Cost per Intelligence Index Task
速度と遅延
Output Speed
能力スコア
能力指数
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better
Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better
IBMのすべてのリリース
Granite 4.2 30B
1モデル
15
最高知能スコア
Granite 4.2 3B
1モデル
9
最高知能スコア
Granite 4.2 8B
1モデル
11
最高知能スコア
Granite 4.1 30B
1モデル
7
最高知能スコア
Granite 4.1 3B
1モデル
6
最高知能スコア
Granite 4.1 8B
1モデル
7
最高知能スコア
Granite 4.0 350M
1モデル
5
最高知能スコア
Granite 4.0 H 350M
1モデル
5
最高知能スコア
Granite 4.0 H 1B
1モデル
5
最高知能スコア
Granite 4.0 1B
1モデル
5
最高知能スコア
Granite 4.0 H Small
1モデル
6
最高知能スコア
Granite 4.0 Micro
1モデル
5
最高知能スコア
Granite 3.3 8B
1モデル
5
最高知能スコア
詳細
ウェイト | プロバイダーのベンチマーク | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| Granite 4.2 30B | 15 | 30B | 131k | $0.1 | 77 | ||||
| Granite 4.2 8B | 11 | 8B | 131k | $0.0 | 76 | ||||
| Granite 4.2 3B | 9 | 3B | 131k | $0.0 | 216 | ||||
| Granite 4.1 30B | 7 | 30B | 131k | - | - | - | |||
| Granite 4.1 8B | 7 | 8B | 131k | $0.1 | 126 | ||||
| Granite 4.0 H Small | 6 | 32B 推論時に9Bが有効 | 128k | $0.1 | 15 | ||||
| Granite 4.1 3B | 6 | 3B | 131k | - | - | - | |||
| Granite 4.0 H 1B | 5 | 1.5B | 128k | - | - | - | |||
| Granite 4.0 Micro | 5 | 3B | 128k | - | - | - | |||
| Granite 4.0 1B | 5 | 1.6B | 128k | - | - | - | |||
| Granite 3.3 8B (Non-reasoning) | 5 | 8.2B | 128k | $0.1 | 15 | ||||
| Granite 4.0 350M | 5 | 0.3B | 33k | - | - | - | |||
| Granite 4.0 H 350M | 5 | 0.3B | 33k | - | - | - |