This model is deprecated. We only continue performance benchmarking for the default 10k input token workload. Results for other workloads are historical and no longer updated.
Meta has launched a newer model, Llama 3.2 11B (Vision). We suggest considering it instead.
For more information, see comparison of Llama 3.2 11B (Vision) to other models and API provider benchmarks for Llama 3.2 11B (Vision).
この分析は、ユースケースに最適なLlama 3.1 Instruct 8BのAPIプロバイダーを選ぶための参考情報です。
最速
Groq
Amazon
Novita
CoreWeave
DeepInfra (Turbo, FP8)出力速度
プロバイダー合計：7社
最短の遅延
AmazonCoreWeaveNovitaGroqDeepInfra (Turbo, FP8)最初のトークンまでの時間
プロバイダー合計：7社
最安料金
CloudflareDeepInfra (Turbo, FP8)NovitaDeepInfraGroqブレンド料金（100万トークンあたり）
プロバイダー合計：7社
Llama 3.1 8Bは7社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- 出力速度の上位プロバイダーはGroq（624.4 t/s）、Amazon（179.9 t/s）、Novita（156.4 t/s）です。 プロバイダー間の速度差は大きく、最速と最遅で2988%の差があります。
- 遅延では、Amazon（0.67秒）、CoreWeave（0.69秒）、Novita（0.85秒）の最初のトークンまでの時間が最短です。
- 料金では、Cloudflare（0.00）、DeepInfra (Turbo, FP8)（0.02）、Novita（0.02）の100万トークンあたりのブレンド料金が最安です。
ハイライト
料金
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Output Speed vs. Price
速度
出力速度（1秒あたりのトークン数）で測定
Output Speed: Llama 3.1 Instruct 8B
Latency vs. Output Speed
遅延
最初のトークンまでの時間（秒）で測定
最初のトークンまでの時間
エンドツーエンド応答時間
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
エンドツーエンド応答時間
主要な比較指標とAPI機能
よくある質問
Llama 3.1 Instruct 8Bのプロバイダーに関するよくある質問
Llama 3.1 Instruct 8Bは7社のAPIプロバイダーで利用できます：Groq、Novita、CoreWeave、Amazon、Cloudflare、DeepInfra (Turbo, FP8)、DeepInfra。性能特性と料金はプロバイダーごとに異なります。
現在、ベンチマークと追跡の対象となる7社のAPIプロバイダーでLlama 3.1 Instruct 8Bを利用できます。
ブレンド料金でLlama 3.1 Instruct 8Bが最安のプロバイダーはCloudflare（100万トークンあたり$0.00）、DeepInfra (Turbo, FP8)（100万トークンあたり$0.02）、Novita（100万トークンあたり$0.02）です。ブレンド料金では、キャッシュヒット／入力／出力トークンを7:2:1とします。
Llama 3.1 Instruct 8Bの入力トークン料金が最安のプロバイダーはCloudflare（入力100万トークンあたり$0.00）、Novita（入力100万トークンあたり$0.02）、DeepInfra (Turbo, FP8)（入力100万トークンあたり$0.02）です。
Llama 3.1 Instruct 8Bの出力トークン料金が最安のプロバイダーはCloudflare（出力100万トークンあたり$0.00）、DeepInfra (Turbo, FP8)（出力100万トークンあたり$0.04）、Novita（出力100万トークンあたり$0.05）です。
7社中6社のプロバイダーがLlama 3.1 Instruct 8BのJSONモードに対応しています：Groq、Novita、CoreWeave、Cloudflare、DeepInfra (Turbo, FP8)、DeepInfra。
7社中6社のプロバイダーがLlama 3.1 Instruct 8Bの関数呼び出しに対応しています：Groq、CoreWeave、Amazon、Cloudflare、DeepInfra (Turbo, FP8)、DeepInfra。
Llama 3.1 Instruct 8Bに最適なプロバイダーは、優先事項によって異なります。Groqは出力速度が最も速く、Amazonは遅延が最も短く、Cloudflareは料金の競争力が最も優れています。
Llama 3.1 Instruct 8Bのプロバイダーを選ぶ際は、出力速度（高スループットが必要なタスク）、遅延（最初の応答の速さが必要な対話型アプリケーション）、料金（費用を重視するワークロード）、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3.1 Instruct 8Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示