Inkling Small APIプロバイダーのベンチマークと分析
この分析は、ユースケースに最適なInkling SmallのAPIプロバイダーを選ぶための参考情報です。
最速
出力速度
プロバイダー合計:3社
最短の遅延
最初の回答トークンまでの時間
プロバイダー合計:3社
最安料金
ブレンド料金(100万トークンあたり)
プロバイダー合計:3社
Inkling Smallは3社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- 出力速度の上位プロバイダーはThinking Machines(204.6 t/s)、DeepInfra(142.6 t/s)です。
- 遅延では、Thinking Machines(11.94秒)、DeepInfra(14.94秒)の最初の回答トークンまでの時間が最短です。
- 料金では、Thinking Machines(0.22)、DeepInfra(0.28)、Baseten(0.29)の100万トークンあたりのブレンド料金が最安です。
- Thinking Machinesは速度、遅延、料金の3カテゴリすべてで首位となり、総合トップです。
更新:本番環境のユースケースをより適切に反映するため、性能ベンチマークのデフォルトワークロードを入力10kトークンに変更しました。上部で別のワークロードを引き続き選択できます。
料金
料金:キャッシュヒット・入力・出力
Intelligence Index タスクあたりのコスト
出力速度と料金
速度
出力速度(1秒あたりのトークン数)で測定
出力速度: Inkling Small
Intelligence Indexのタスクあたりの時間
タスクあたりの費用とタスクあたりの時間
遅延
最初のトークンまでの時間(秒)で測定
最初の回答トークンまでの時間
キャッシュ動作
キャッシュヒット率
タスクあたりのコストとキャッシュヒット率
エンドツーエンド応答時間
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
エンドツーエンド応答時間
主要な比較指標とAPI機能
よくある質問
Inkling Smallのプロバイダーに関するよくある質問
Inkling Smallは3社のAPIプロバイダーで利用できます:DeepInfra、Baseten、Thinking Machines。性能特性と料金はプロバイダーごとに異なります。
現在、ベンチマークと追跡の対象となる3社のAPIプロバイダーでInkling Smallを利用できます。
出力速度でInkling Smallが最速のプロバイダーはThinking Machines(204.6 t/s)、DeepInfra(142.6 t/s)です。出力速度は、モデルが応答を開始した後にトークンを生成する速さを表します。
Inkling Smallの最初の回答トークンまでの時間が最短のプロバイダーはThinking Machines(11.94s)、DeepInfra(14.94s)です。遅延が短いほど、最初の応答が速くなります。
ブレンド料金でInkling Smallが最安のプロバイダーはThinking Machines(100万トークンあたり$0.22)、DeepInfra(100万トークンあたり$0.28)、Baseten(100万トークンあたり$0.29)です。ブレンド料金では、キャッシュヒット/入力/出力トークンを7:2:1とします。
Inkling Smallの入力トークン料金が最安のプロバイダーはThinking Machines(入力100万トークンあたり$0.30)、DeepInfra(入力100万トークンあたり$0.45)、Baseten(入力100万トークンあたり$0.50)です。
Inkling Smallの出力トークン料金が最安のプロバイダーはDeepInfra(出力100万トークンあたり$1.20)、Baseten(出力100万トークンあたり$1.20)、Thinking Machines(出力100万トークンあたり$1.20)です。
Inkling Smallの料金はプロバイダー間で最大1.3倍異なります。最安はThinking Machinesの100万トークンあたり$0.22で、Basetenは100万トークンあたり$0.29です。
Inkling Smallを提供する3社すべてが、構造化出力のJSONモードに対応しています。
Inkling Smallを提供する3社すべてが、関数呼び出し(ツール利用)に対応しています。
Thinking MachinesはInkling Smallの主要指標すべてで首位となり、出力速度が最も速く、遅延が最も短く、料金の競争力も最も優れています。
Inkling Smallのプロバイダーを選ぶ際は、出力速度(高スループットが必要なタスク)、遅延(最初の応答の速さが必要な対話型アプリケーション)、料金(費用を重視するワークロード)、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Inkling Smallの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示