このモデルは非推奨です。デフォルトの入力トークン数1万のワークロードでのみ性能測定を継続しています。他のワークロードの結果は過去のデータであり、更新されません。
Metaは新しいリリースであるLlama 3.1 Instruct 8Bを公開しています。こちらの利用をご検討ください。
この分析は、ユースケースに最適なLlama 3 Instruct 8BのAPIプロバイダーを選ぶための参考情報です。
最速
出力速度
プロバイダー合計：4社
最短の遅延
最初のトークンまでの時間
プロバイダー合計：4社
最安料金
DeepInfra
Novita
Replicate
Amazonブレンド料金（100万トークンあたり）
プロバイダー合計：4社
Llama 3 8Bは4社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- 料金では、DeepInfra（0.03）、Novita（0.04）、Replicate（0.07）の100万トークンあたりのブレンド料金が最安です。 プロバイダー間で料金に最大10.6倍の差があります。
モデルの詳細と他のモデルとの知能比較は、Llama 3 Instruct 8Bのモデルページをご覧ください。
料金
料金：キャッシュヒット・入力・出力
料金：ブレンド料金
出力速度と料金
速度
出力速度（1秒あたりのトークン数）で測定
出力速度: Llama 3 Instruct 8B
遅延と出力速度
遅延
最初のトークンまでの時間（秒）で測定
最初のトークンまでの時間
エンドツーエンド応答時間
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
エンドツーエンド応答時間
主要な比較指標とAPI機能
よくある質問
Llama 3 Instruct 8Bのプロバイダーに関するよくある質問
現在、ベンチマークと追跡の対象となる4社のAPIプロバイダーでLlama 3 Instruct 8Bを利用できます。
4社中1社のプロバイダーがLlama 3 Instruct 8Bの関数呼び出しに対応しています：DeepInfra。
Llama 3 Instruct 8Bのプロバイダーを選ぶ際は、出力速度（高スループットが必要なタスク）、遅延（最初の応答の速さが必要な対話型アプリケーション）、料金（費用を重視するワークロード）、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3 Instruct 8Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示