This model is deprecated. We only continue performance benchmarking for the default 10k input token workload. Results for other workloads are historical and no longer updated.
Meta has launched a newer model, Llama 3.2 11B (Vision). We suggest considering it instead.
For more information, see comparison of Llama 3.2 11B (Vision) to other models and API provider benchmarks for Llama 3.2 11B (Vision).
Llama 3.1 Instruct 8BのAPIプロバイダーを、遅延（最初のトークンまでの時間）、出力速度（1秒あたりの出力トークン数）、料金などの性能指標で分析します。ベンチマーク対象のAPIプロバイダーにはDatabricks、Groq、Novita、CoreWeave、Amazon Bedrock、Cloudflare、FriendliAI、DeepInfra (Turbo, FP8)、DeepInfra、Scalewayが含まれます。
最速
Groq
FriendliAI
Databricks
Cloudflare
Amazon出力速度
プロバイダー合計：10社
最短の遅延
CloudflareAmazonFriendliAI
NovitaDatabricks最初のトークンまでの時間
プロバイダー合計：10社
最安料金
Cloudflare
DeepInfra (Turbo, FP8)NovitaDeepInfraGroqブレンド料金（100万トークンあたり）
プロバイダー合計：10社
Llama 3.1 8Bは10社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- 出力速度の上位プロバイダーはGroq（638.9 t/s）、FriendliAI（244.5 t/s）、Databricks（188.3 t/s）です。 プロバイダー間の速度差は大きく、最速と最遅で3741%の差があります。
- 遅延では、Cloudflare（0.62秒）、Amazon（0.73秒）、FriendliAI（0.73秒）の最初のトークンまでの時間が最短です。
- 料金では、Cloudflare（0.00）、DeepInfra (Turbo, FP8)（0.02）、Novita（0.02）の100万トークンあたりのブレンド料金が最安です。
- Cloudflareは遅延が最も短く、料金も最も優れているため、費用を重視するアプリケーションに適しています。スループットを重視するワークロードには、最速のGroqが適しています。
ハイライト
料金
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Output Speed vs. Price
速度
出力速度（1秒あたりのトークン数）で測定
Output Speed: Llama 3.1 Instruct 8B
Latency vs. Output Speed
遅延
最初のトークンまでの時間（秒）で測定
最初のトークンまでの時間：Llama 3.1 8Bのプロバイダー
エンドツーエンド応答時間
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
エンドツーエンド応答時間：Llama 3.1 8Bのプロバイダー
主要な比較指標とAPI機能
| Databricks | 128k | オープン | -- | 185 | 0.93 | 3.63 | -- | ||
| Groq | 131k | オープン | -- | 640 | 0.99 | 1.77 | -- | ||
| Novita | 16.4k | オープン | -- | 126 | 0.86 | 4.81 | -- | ||
 CoreWeave | 128k | オープン | -- | 132 | 0.99 | 4.77 | -- | ||
| Amazon Bedrock | 128k | オープン | -- | 181 | 0.73 | 3.49 | -- | ||
| Cloudflare | 30k | オープン | -- | 186 | 0.62 | 3.31 | -- | ||
| FriendliAI | 128k | オープン | -- | 224 | 0.75 | 2.98 | -- | ||
| DeepInfra | 131k | オープン | -- | 18 | 1.11 | 29.09 | -- | ||
| DeepInfra | 131k | オープン | -- | 17 | 1.08 | 31.15 | -- | ||
 Scaleway | 128k | オープン | -- | 143 | 0.96 | 4.46 | -- | ||
よくある質問
Llama 3.1 Instruct 8Bのプロバイダーに関するよくある質問
Llama 3.1 Instruct 8Bは10社のAPIプロバイダーで利用できます：Databricks、Groq、Novita、CoreWeave、Amazon、Cloudflare、FriendliAI、DeepInfra (Turbo, FP8)、DeepInfra、Scaleway。性能特性と料金はプロバイダーごとに異なります。
現在、ベンチマークと追跡の対象となる10社のAPIプロバイダーでLlama 3.1 Instruct 8Bを利用できます。
出力速度でLlama 3.1 Instruct 8Bが最速のプロバイダーはGroq（638.9 t/s）、FriendliAI（244.5 t/s）、Databricks（188.3 t/s）です。出力速度は、モデルが応答を開始した後にトークンを生成する速さを表します。
Llama 3.1 Instruct 8Bの最初のトークンまでの時間が最短のプロバイダーはCloudflare（0.62s）、Amazon（0.73s）、FriendliAI（0.73s）です。遅延が短いほど、最初の応答が速くなります。
ブレンド料金でLlama 3.1 Instruct 8Bが最安のプロバイダーはCloudflare（100万トークンあたり$0.00）、DeepInfra (Turbo, FP8)（100万トークンあたり$0.02）、Novita（100万トークンあたり$0.02）です。ブレンド料金では、キャッシュヒット／入力／出力トークンを7:2:1とします。
Llama 3.1 Instruct 8Bの入力トークン料金が最安のプロバイダーはCloudflare（入力100万トークンあたり$0.00）、Novita（入力100万トークンあたり$0.02）、DeepInfra (Turbo, FP8)（入力100万トークンあたり$0.02）です。
Llama 3.1 Instruct 8Bの出力トークン料金が最安のプロバイダーはCloudflare（出力100万トークンあたり$0.00）、DeepInfra (Turbo, FP8)（出力100万トークンあたり$0.04）、Novita（出力100万トークンあたり$0.05）です。
10社中9社のプロバイダーがLlama 3.1 Instruct 8BのJSONモードに対応しています：Databricks、Groq、Novita、CoreWeave、Cloudflare、FriendliAI、DeepInfra (Turbo, FP8)、DeepInfra、Scaleway。
10社中9社のプロバイダーがLlama 3.1 Instruct 8Bの関数呼び出しに対応しています：Databricks、Groq、CoreWeave、Amazon、Cloudflare、FriendliAI、DeepInfra (Turbo, FP8)、DeepInfra、Scaleway。
Llama 3.1 Instruct 8Bに最適なプロバイダーは、優先事項によって異なります。Groqは出力速度が最も速く、Cloudflareは遅延が最も短く、Cloudflareは料金の競争力が最も優れています。
Llama 3.1 Instruct 8Bのプロバイダーを選ぶ際は、出力速度（高スループットが必要なタスク）、遅延（最初の応答の速さが必要な対話型アプリケーション）、料金（費用を重視するワークロード）、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3.1 Instruct 8Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示