このモデルは非推奨です。性能測定は継続していますが、頻度を下げ、6時間ごとではなく18時間ごとに測定しています。
Metaは新しいリリースであるLlama 3.1 Instruct 8Bを公開しています。こちらの利用をご検討ください。
この分析は、ユースケースに最適なLlama 3 Instruct 8BのAPIプロバイダーを選ぶための参考情報です。
最短のタスク時間
Intelligence Index タスクあたりの時間(分)
プロバイダー合計:4社
最安のタスク費用
Intelligence Index タスクあたりの費用
プロバイダー合計:4社
Llama 3 8Bは4社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
料金
Intelligence Index タスクあたりのコスト: Llama 3 Instruct 8B
料金:キャッシュヒット・入力・出力: Llama 3 Instruct 8B
出力速度とタスクあたりの費用: Llama 3 Instruct 8B
速度
測定した単一リクエストとマルチターンのエージェントワークロードの平均
出力速度: Llama 3 Instruct 8B
遅延
測定した単一リクエストとマルチターンのエージェントワークロードの平均
最初の回答トークンまでの時間: Llama 3 Instruct 8B
信頼性
測定したすべての単一リクエストとマルチターンのエージェントワークロードで、エンドポイントが失敗したリクエストの割合
エンドポイントのエラー率: Llama 3 Instruct 8B
主要な比較指標とAPI機能
よくある質問
Llama 3 Instruct 8Bのプロバイダーに関するよくある質問
現在、ベンチマークと追跡の対象となる4社のAPIプロバイダーでLlama 3 Instruct 8Bを利用できます。
4社中1社のプロバイダーがLlama 3 Instruct 8Bの関数呼び出しに対応しています:DeepInfra。
Llama 3 Instruct 8Bのプロバイダーを選ぶ際は、タスクあたりの時間(Intelligence Indexのタスクを完了する速さ)、遅延(最初の応答の速さが必要な対話型アプリケーション)、料金(費用を重視するワークロード)、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Llama 3 Instruct 8Bの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示