この分析は、ユースケースに最適なLlama 3.3 Instruct 70BのAPIプロバイダーを選ぶための参考情報です。
最速
Groq
SambaNova
Google Vertex
Amazon
Azure出力速度
プロバイダー合計：14社
最短の遅延
Google Vertex
CoreWeaveGroqAmazon
Scaleway最初のトークンまでの時間
プロバイダー合計：14社
最安料金
DeepInfra (Turbo, FP8)
Nebius Base
Novita
Parasail (FP8)
Cloudflareブレンド料金（100万トークンあたり）
プロバイダー合計：14社
Llama 3.3 70Bは14社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- 出力速度の上位プロバイダーはGroq（327.2 t/s）、SambaNova（295.1 t/s）、Google Vertex（153.5 t/s）です。 プロバイダー間の速度差は大きく、最速と最遅で4186%の差があります。
- 遅延では、Google Vertex（0.66秒）、CoreWeave（0.92秒）、Groq（0.92秒）の最初のトークンまでの時間が最短です。
- 料金では、DeepInfra (Turbo, FP8)（0.12）、Nebius Base（0.16）、Novita（0.16）の100万トークンあたりのブレンド料金が最安です。 プロバイダー間で料金に最大8.6倍の差があります。
ハイライト
更新：本番環境のユースケースをより適切に反映するため、性能ベンチマークのデフォルトワークロードを入力10kトークンに変更しました。上部で別のワークロードを引き続き選択できます。
料金
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
速度
出力速度（1秒あたりのトークン数）で測定
Output Speed: Llama 3.3 Instruct 70B
Latency vs. Output Speed
遅延
最初のトークンまでの時間（秒）で測定
最初のトークンまでの時間
エンドツーエンド応答時間
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
エンドツーエンド応答時間
主要な比較指標とAPI機能
 Fireworks | 131k | オープン | -- | -- | -- | -- | -- | ||
| Google | 128k | オープン | -- | 145 | 0.66 | 4.11 | -- | ||
| Groq | 131k | オープン | -- | 325 | 0.84 | 2.38 | -- | ||
| Novita | 131k | オープン | -- | 40 | 1.75 | 14.17 | -- | ||
| Parasail | 131k | オープン | -- | 80 | 2.47 | 8.74 | -- | ||
| SambaNova | 128k | オープン | -- | 302 | 1.76 | 3.42 | -- | ||
| Nebius | 128k | オープン | -- | 7 | 4.69 | 76.31 | -- | ||
| CoreWeave | 128k | オープン | -- | 82 | 0.89 | 6.98 | -- | ||
 Together AI | 131k | オープン | -- | 72 | 1.46 | 8.37 | -- | ||
| Microsoft Azure | 128k | オープン | -- | 123 | 2.12 | 6.17 | -- | ||
| DeepInfra | 131k | オープン | -- | 17 | 2.40 | 32.45 | -- | ||
| Cloudflare | 24k | オープン | -- | -- | -- | -- | -- | ||
| Amazon Bedrock | 128k | オープン | -- | 155 | 1.14 | 4.36 | -- | ||
| Scaleway | 100k | オープン | -- | 88 | 1.29 | 6.99 | -- | ||
よくある質問
Llama 3.3 Instruct 70Bのプロバイダーに関するよくある質問
Llama 3.3 Instruct 70Bは14社のAPIプロバイダーで利用できます：Fireworks、Google Vertex、Groq、Novita、Parasail (FP8)、SambaNova、Nebius Base、CoreWeave、Together AI Turbo、Azure、DeepInfra (Turbo, FP8)、Cloudflare、Amazon、Scaleway。性能特性と料金はプロバイダーごとに異なります。
現在、ベンチマークと追跡の対象となる14社のAPIプロバイダーでLlama 3.3 Instruct 70Bを利用できます。
出力速度でLlama 3.3 Instruct 70Bが最速のプロバイダーはGroq（327.2 t/s）、SambaNova（295.1 t/s）、Google Vertex（153.5 t/s）です。出力速度は、モデルが応答を開始した後にトークンを生成する速さを表します。
Llama 3.3 Instruct 70Bの最初のトークンまでの時間が最短のプロバイダーはGoogle Vertex（0.66s）、CoreWeave（0.92s）、Groq（0.92s）です。遅延が短いほど、最初の応答が速くなります。
ブレンド料金でLlama 3.3 Instruct 70Bが最安のプロバイダーはDeepInfra (Turbo, FP8)（100万トークンあたり$0.12）、Nebius Base（100万トークンあたり$0.16）、Novita（100万トークンあたり$0.16）です。ブレンド料金では、キャッシュヒット／入力／出力トークンを7:2:1とします。
Llama 3.3 Instruct 70Bの入力トークン料金が最安のプロバイダーはDeepInfra (Turbo, FP8)（入力100万トークンあたり$0.10）、Nebius Base（入力100万トークンあたり$0.13）、Novita（入力100万トークンあたり$0.14）です。
Llama 3.3 Instruct 70Bの出力トークン料金が最安のプロバイダーはDeepInfra (Turbo, FP8)（出力100万トークンあたり$0.32）、Novita（出力100万トークンあたり$0.40）、Nebius Base（出力100万トークンあたり$0.40）です。
Llama 3.3 Instruct 70Bの料金はプロバイダー間で最大8.6倍異なります。最安はDeepInfra (Turbo, FP8)の100万トークンあたり$0.12で、Scalewayは100万トークンあたり$1.05です。
Llama 3.3 Instruct 70Bの出力速度はプロバイダーによって大きく異なります。Groqが327.2 t/sで最速であり、Nebius Baseの7.6 t/sと比べて42.9倍高速です。
14社中13社のプロバイダーがLlama 3.3 Instruct 70BのJSONモードに対応しています：Fireworks、Google Vertex、Groq、Novita、Parasail (FP8)、SambaNova、Nebius Base、CoreWeave、Together AI Turbo、Azure、DeepInfra (Turbo, FP8)、Cloudflare、Scaleway。
Llama 3.3 Instruct 70Bを提供する14社すべてが、関数呼び出し（ツール利用）に対応しています。
Llama 3.3 Instruct 70Bに最適なプロバイダーは、優先事項によって異なります。Groqは出力速度が最も速く、Google Vertexは遅延が最も短く、DeepInfra (Turbo, FP8)は料金の競争力が最も優れています。
Llama 3.3 Instruct 70Bのプロバイダーを選ぶ際は、出力速度（高スループットが必要なタスク）、遅延（最初の応答の速さが必要な対話型アプリケーション）、料金（費用を重視するワークロード）、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3.3 Instruct 70Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示