Metaのモデル:知能・性能・料金
Artificial Analysis Intelligence Index
Artificial AnalysisはMetaの25個のモデルをベンチマークしています。以下では、これらのモデルの主要指標を比較します。
- 知能が最も高いMetaのモデルはMuse Wonder Full (Max)(56)です。
- 出力速度が最も速いモデルはMuse Spark 1.3 (Xhigh)(288トークン/秒)です。
- 最初の回答トークンまでの時間が最も短いモデルはLlama 4 Scout(0.89秒)です。
- タスクあたりの費用が最も低いモデルはLlama 4 Maverick($0.04)です。モデル間の料金差は最大118倍です。
知能
Artificial Analysis Intelligence Index
Intelligence Index とタスクあたりのコスト
費用
Intelligence Index タスクあたりのコスト
速度と遅延
出力速度
能力スコア
能力指数
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 6 evaluations: GDPval-AA v2.1, AA-Briefcase v1.1, AA-Omniscience, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better
Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better
Metaのすべてのリリース
Muse Spark Open
1モデル
39
最高知能スコア
Muse Wonder
1モデル
52
最高知能スコア
Muse Wonder Full
1モデル
56
最高知能スコア
Muse Spark 1.3
2モデル
48
最高知能スコア
Muse Glimmer
1モデル
17
最高知能スコア
Muse Spark 1.2
1モデル
40
最高知能スコア
Muse Spark 1.1
1モデル
34
最高知能スコア
Muse Spark
1モデル
31
最高知能スコア
Llama 4 Maverick
1モデル
9
最高知能スコア
Llama 4 Scout
1モデル
6
最高知能スコア
Llama 3.3 Instruct 70B
1モデル
8
最高知能スコア
Llama 3.2 Instruct 11B (Vision)
1モデル
5
最高知能スコア
Llama 3.2 Instruct 1B
1モデル
5
最高知能スコア
Llama 3.2 Instruct 3B
1モデル
6
最高知能スコア
Llama 3.2 Instruct 90B (Vision)
1モデル
6
最高知能スコア
Llama 3.1 Instruct 405B
1モデル
7
最高知能スコア
Llama 3.1 Instruct 70B
1モデル
7
最高知能スコア
Llama 3.1 Instruct 8B
1モデル
7
最高知能スコア
Llama 3 Instruct 70B
1モデル
5
最高知能スコア
Llama 3 Instruct 8B
1モデル
5
最高知能スコア
Llama 2 Chat 13B
1モデル
5
最高知能スコア
Llama 2 Chat 70B
1モデル
5
最高知能スコア
Llama 2 Chat 7B
1モデル
6
最高知能スコア
Llama 65B
1モデル
5
最高知能スコア
詳細
ウェイト | プロバイダーのベンチマーク | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| Muse Wonder Full (Max) | 56 | - | 1M | - | - | 利用不可 | - | ||
| Muse Wonder (Max) | 52 | - | 1M | $2.9 | 176 | 利用不可 | |||
| Muse Spark 1.3 (Max) | 48 | - | 1M | $0.8 | 139 | 利用不可 | |||
| Muse Spark 1.3 (Xhigh) | 45 | - | 1M | $0.8 | 288 | 利用不可 | |||
| Muse Spark 1.2 (Xhigh) | 40 | - | 1M | $0.8 | 372 | 利用不可 | |||
| Muse Spark Open (Xhigh) | 39 | 816B 推論時に42Bが有効 | 1M | $0.8 | 140 | +2 | |||
| Muse Spark 1.1 (Xhigh) | 34 | - | 1M | $0.8 | 226 | 利用不可 | |||
| Muse Spark | 31 | - | 262k | - | - | 利用不可 | - | ||
| Muse Glimmer (High) | 17 | 30B | 131k | $0.2 | 141 | ||||
| Llama 4 Maverick | 9 | 402B 推論時に17Bが有効 | 1M | $0.3 | 46 | +3 | |||
| Llama 3.3 Instruct 70B | 8 | 70B | 128k | $0.7 | 93 | +8 | |||
| Llama 3.1 Instruct 405B | 7 | 405B | 128k | - | - | - | |||
| Llama 3.1 Instruct 8B | 7 | 8B | 128k | $0.0 | 141 | +2 | |||
| Llama 3.1 Instruct 70B | 7 | 70B | 128k | $0.6 | 33 | ||||
| Llama 4 Scout | 6 | 109B 推論時に17Bが有効 | 10M | $0.2 | 119 | +2 | |||
| Llama 3.2 Instruct 90B (Vision) | 6 | 90B | 128k | - | - | - | |||
| Llama 2 Chat 7B | 6 | 7B | 4k | $0.1 | - | ||||
| Llama 3.2 Instruct 3B | 6 | 3B | 128k | - | - | - | |||
| Llama 3 Instruct 70B | 5 | 70B | 8k | $0.9 | - | ||||
| Llama 3.2 Instruct 11B (Vision) | 5 | 11B | 128k | $0.3 | 19 | ||||
| Llama 2 Chat 70B | 5 | 70B | 4k | - | - | - | |||
| Llama 2 Chat 13B | 5 | 13B | 4k | - | - | - | |||
| Llama 65B | 5 | 65B | 2k | - | - | - | |||
| Llama 3.2 Instruct 1B | 5 | 1B | 128k | - | - | - | |||
| Llama 3 Instruct 8B | 5 | 8B | 8k | $0.1 | - |