このモデルは非推奨です。性能測定は継続していますが、頻度を下げ、6時間ごとではなく18時間ごとに測定しています。
Thinking Machinesは新しいリリースであるInkling 2 Smallを公開しています。こちらの利用をご検討ください。
Inkling Small APIプロバイダーのベンチマークと分析
この分析は、ユースケースに最適なInkling SmallのAPIプロバイダーを選ぶための参考情報です。
最短のタスク時間
Intelligence Index タスクあたりの時間(分)
プロバイダー合計:2社
最安のタスク費用
Intelligence Index タスクあたりの費用
プロバイダー合計:2社
Inkling Smallは2社のAPIプロバイダーで利用でき、性能特性と料金はそれぞれ異なります。以下でプロバイダー間の主要指標を比較します。
- タスクあたりの時間では、DeepInfra(3.7分)、Thinking Machines(6.4分)がIntelligence Indexのタスクを最も速く完了します。
- タスクあたりの費用では、Thinking Machines($0.20)、DeepInfra($0.29)がIntelligence Indexのタスクあたりで最安です。
料金
Intelligence Index タスクあたりのコスト: Inkling Small
料金:キャッシュヒット・入力・出力: Inkling Small
出力速度とタスクあたりの費用: Inkling Small
速度
測定した単一リクエストとマルチターンのエージェントワークロードの平均
Intelligence Indexのタスクあたりの時間: Inkling Small
遅延
測定した単一リクエストとマルチターンのエージェントワークロードの平均
最初の回答トークンまでの時間: Inkling Small
信頼性
測定したすべての単一リクエストとマルチターンのエージェントワークロードで、エンドポイントが失敗したリクエストの割合
エンドポイントのエラー率: Inkling Small
キャッシュ
キャッシュヒット率: Inkling Small
タスクあたりのコストとキャッシュヒット率: Inkling Small
主要な比較指標とAPI機能
よくある質問
Inkling Smallのプロバイダーに関するよくある質問
Inkling Smallは2社のAPIプロバイダーで利用できます:DeepInfra、Thinking Machines。性能特性と料金はプロバイダーごとに異なります。
現在、ベンチマークと追跡の対象となる2社のAPIプロバイダーでInkling Smallを利用できます。
タスクあたりの時間でInkling Smallが最速のプロバイダーはDeepInfra(3.7分)、Thinking Machines(6.4分)です。タスクあたりの時間は、Intelligence Indexのタスクあたりのモデルの出力トークン数を、各プロバイダーのエンドツーエンド出力速度で割って算出します。
Inkling Smallの最初の回答トークンまでの時間が最短のプロバイダーはDeepInfra(16.46s)、Thinking Machines(24.13s)です。遅延が短いほど、最初の応答が速くなります。
ブレンド料金でInkling Smallが最安のプロバイダーはThinking Machines(100万トークンあたり$0.22)、DeepInfra(100万トークンあたり$0.28)です。ブレンド料金では、キャッシュヒット/入力/出力トークンを7:2:1とします。
Inkling Smallの入力トークン料金が最安のプロバイダーはThinking Machines(入力100万トークンあたり$0.30)、DeepInfra(入力100万トークンあたり$0.45)です。
Inkling Smallの出力トークン料金が最安のプロバイダーはDeepInfra(出力100万トークンあたり$1.20)、Thinking Machines(出力100万トークンあたり$1.20)です。
Inkling Smallの料金はプロバイダー間で最大1.3倍異なります。最安はThinking Machinesの100万トークンあたり$0.22で、DeepInfraは100万トークンあたり$0.28です。
Inkling Smallのタスクあたりの時間はプロバイダーによって大きく異なります。DeepInfraがIntelligence Indexのタスクあたり3.7分で最速であり、Thinking Machinesの6.4分と比べて1.7倍高速です。
Inkling Smallを提供する2社すべてが、構造化出力のJSONモードに対応しています。
Inkling Smallを提供する2社すべてが、関数呼び出し(ツール利用)に対応しています。
Inkling Smallでは、DeepInfraのタスクあたりの時間が最も短く、遅延も最短で、性能が最も優れています。費用を最適化するなら、Thinking Machinesの料金が最も競争力に優れています。
Inkling Smallのプロバイダーを選ぶ際は、タスクあたりの時間(Intelligence Indexのタスクを完了する速さ)、遅延(最初の応答の速さが必要な対話型アプリケーション)、料金(費用を重視するワークロード)、JSONモードや関数呼び出しなどのAPI機能を検討してください。
はい。インフラストラクチャの変更、負荷分散、アップデートにより、プロバイダーの性能は時間とともに変化する場合があります。すべてのプロバイダーを継続的にベンチマークし、「推移」グラフに過去の性能傾向を表示しています。
Inkling Smallの知能、能力、モダリティ、他のモデルとの比較については、モデル概要ページをご覧ください。 モデル概要を表示