このモデルは非推奨です。性能測定は継続していますが、頻度を下げ、6時間ごとではなく18時間ごとに測定しています。
Metaは新しいリリースであるLlama 3.3 Instruct 70Bを公開しています。こちらの利用をご検討ください。
この分析は、ユースケースに最適なLlama 3.1 Instruct 70BのAPIプロバイダーを選ぶための参考情報です。
最短のタスク時間
Intelligence Index タスクあたりの時間（分）
2社が提供する4件のエンドポイント
最安のタスク費用
Intelligence Index タスクあたりの費用
2社が提供する4件のエンドポイント
Llama 3.1 70Bは2社のAPIプロバイダーが提供する4件のエンドポイントで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
料金
Intelligence Index タスクあたりのコスト: Llama 3.1 Instruct 70B
料金：キャッシュヒット・入力・出力: Llama 3.1 Instruct 70B
出力速度とタスクあたりの費用: Llama 3.1 Instruct 70B
速度
測定した単一リクエストとマルチターンのエージェントワークロードの平均
出力速度: Llama 3.1 Instruct 70B
遅延
測定した単一リクエストとマルチターンのエージェントワークロードの平均
最初の回答トークンまでの時間: Llama 3.1 Instruct 70B
信頼性
測定したすべての単一リクエストとマルチターンのエージェントワークロードで、エンドポイントが失敗したリクエストの割合
エンドポイントのエラー率: Llama 3.1 Instruct 70B
主要な比較指標とAPI機能
よくある質問
Llama 3.1 Instruct 70Bのプロバイダーに関するよくある質問
Llama 3.1 Instruct 70Bは2社のAPIプロバイダーが提供する4件のエンドポイントで利用できます：Amazon Standard、DeepInfra、Amazon Latency Optimized、DeepInfra (Turbo, FP8)。性能特性と料金はエンドポイントごとに異なります。
現在、ベンチマークと追跡の対象となる2社のAPIプロバイダーが提供する4件のエンドポイントでLlama 3.1 Instruct 70Bを利用できます。
Llama 3.1 Instruct 70Bの最初の回答トークンまでの時間が最短のプロバイダーはDeepInfra（7.88s）、DeepInfra (Turbo, FP8)（9.48s）です。遅延が短いほど、最初の応答が速くなります。
ブレンド料金でLlama 3.1 Instruct 70Bが最安のプロバイダーはDeepInfra（100万トークンあたり$0.40）、DeepInfra (Turbo, FP8)（100万トークンあたり$0.40）、Amazon Standard（100万トークンあたり$0.72）です。ブレンド料金では、キャッシュヒット／入力／出力トークンを7:2:1とします。
Llama 3.1 Instruct 70Bの入力トークン料金が最安のプロバイダーはDeepInfra（入力100万トークンあたり$0.40）、DeepInfra (Turbo, FP8)（入力100万トークンあたり$0.40）、Amazon Standard（入力100万トークンあたり$0.72）です。
Llama 3.1 Instruct 70Bの出力トークン料金が最安のプロバイダーはDeepInfra（出力100万トークンあたり$0.40）、DeepInfra (Turbo, FP8)（出力100万トークンあたり$0.40）、Amazon Standard（出力100万トークンあたり$0.72）です。
Llama 3.1 Instruct 70Bの料金はプロバイダー間で最大2.3倍異なります。最安はDeepInfraの100万トークンあたり$0.40で、Amazon Latency Optimizedは100万トークンあたり$0.90です。
4件中2件のエンドポイントがLlama 3.1 Instruct 70BのJSONモードに対応しています：DeepInfra、DeepInfra (Turbo, FP8)。
Llama 3.1 Instruct 70Bの4件のエンドポイントすべてが、関数呼び出し（ツール利用）に対応しています。
Llama 3.1 Instruct 70Bのプロバイダーを選ぶ際は、タスクあたりの時間（Intelligence Indexのタスクを完了する速さ）、遅延（最初の応答の速さが必要な対話型アプリケーション）、料金（費用を重視するワークロード）、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3.1 Instruct 70Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示