Metaのモデル：知能・性能・料金
Artificial AnalysisはMetaの22個のモデルをベンチマークしています。以下では、これらのモデルの主要指標を比較します。
- 知能が最も高いMetaのモデルはMuse Spark 1.3 (max)（48）です。
- 出力速度が最も速いモデルはMuse Spark 1.3 (xhigh)（221トークン/秒）です。
- 最初の回答トークンまでの時間が最も短いモデルはLlama 4 Scout（0.84秒）です。
- タスクあたりの費用が最も低いモデルはMuse Glimmer (high)（$0.06）です。モデル間の料金差は最大28倍です。
知能
Artificial Analysis Intelligence Index
Intelligence Index vs. Cost per Intelligence Index Task
費用
Cost per Intelligence Index Task
速度と遅延
Output Speed
能力スコア
能力指数
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better
Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better
Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better
Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better
Metaのすべてのリリース
Muse Spark 1.3
2モデル
48
最高知能スコア
Muse Glimmer
1モデル
17
最高知能スコア
Muse Spark 1.2
1モデル
40
最高知能スコア
Muse Spark 1.1
1モデル
34
最高知能スコア
Muse Spark
1モデル
31
最高知能スコア
Llama 4 Maverick
1モデル
10
最高知能スコア
Llama 4 Scout
1モデル
8
最高知能スコア
Llama 3.3 Instruct 70B
1モデル
8
最高知能スコア
Llama 3.2 Instruct 11B (Vision)
1モデル
5
最高知能スコア
Llama 3.2 Instruct 1B
1モデル
5
最高知能スコア
Llama 3.2 Instruct 3B
1モデル
6
最高知能スコア
Llama 3.2 Instruct 90B (Vision)
1モデル
6
最高知能スコア
Llama 3.1 Instruct 405B
1モデル
7
最高知能スコア
Llama 3.1 Instruct 70B
1モデル
7
最高知能スコア
Llama 3.1 Instruct 8B
1モデル
7
最高知能スコア
Llama 3 Instruct 70B
1モデル
5
最高知能スコア
Llama 3 Instruct 8B
1モデル
5
最高知能スコア
Llama 2 Chat 13B
1モデル
5
最高知能スコア
Llama 2 Chat 70B
1モデル
5
最高知能スコア
Llama 2 Chat 7B
1モデル
6
最高知能スコア
Llama 65B
1モデル
5
最高知能スコア
詳細
ウェイト | プロバイダーのベンチマーク | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| Muse Spark 1.3 (max) | Meta | 48 | - | 1M | $0.8 | 203 | 利用不可 | | |
| Muse Spark 1.3 (xhigh) | Meta | 45 | - | 1M | $0.8 | 221 | 利用不可 | | |
| Muse Spark 1.2 (xhigh) | Meta | 40 | - | 1M | $0.8 | 234 | 利用不可 | | |
| Muse Spark 1.1 (xhigh) | Meta | 34 | - | 1M | $0.8 | - | 利用不可 | | |
| Muse Spark | Meta | 31 | - | 262k | - | - | 利用不可 | - | |
| Muse Glimmer (high) | Meta | 17 | 30B | 131k | $0.2 | 122 |     | ||
| Llama 4 Maverick | Meta | 10 | 402B 推論時に17Bが有効 | 1M | $0.3 | 110 |    +3 | ||
| Llama 4 Scout | Meta | 8 | 109B 推論時に17Bが有効 | 10M | $0.2 | 107 |  +3 | ||
| Llama 3.3 Instruct 70B | Meta | 8 | 70B | 128k | $0.7 | 90 |  +10 | ||
| Llama 3.1 Instruct 405B | Meta | 7 | 405B | 128k | - | - | - | ||
| Llama 3.1 Instruct 8B | Meta | 7 | 8B | 128k | $0.0 | 136 |  +3 | ||
| Llama 3.1 Instruct 70B | Meta | 7 | 70B | 128k | $0.6 | 52 | | ||
| Llama 3.2 Instruct 90B (Vision) | Meta | 6 | 90B | 128k | - | - | - | ||
| Llama 2 Chat 7B | Meta | 6 | 7B | 4k | $0.1 | - |  | ||
| Llama 3.2 Instruct 3B | Meta | 6 | 3B | 128k | - | - | - | ||
| Llama 3 Instruct 70B | Meta | 5 | 70B | 8k | $0.9 | - | | ||
| Llama 3.2 Instruct 11B (Vision) | Meta | 5 | 11B | 128k | $0.3 | 17 | | ||
| Llama 2 Chat 70B | Meta | 5 | 70B | 4k | - | - | - | ||
| Llama 2 Chat 13B | Meta | 5 | 13B | 4k | - | - | - | ||
| Llama 65B | Meta | 5 | 65B | 2k | - | - | - | ||
| Llama 3.2 Instruct 1B | Meta | 5 | 1B | 128k | - | - | - | ||
| Llama 3 Instruct 8B | Meta | 5 | 8B | 8k | $0.1 | - | |