Jev 1.13: リリース、Decision Indexスコア、性能、価格
モデル概要
他の意思決定モデルと比較すると、Jev 1.13のDecision Indexスコアは平均以上ですが、料金はやや高価です。また、処理速度は特に速い水準です。このモデルはテキスト入力に対応し、コンテキストウィンドウは64kトークンです。
Jev 1.13のArtificial Analysis Decision Indexスコアは58で、意思決定モデルの中では平均以上です(中央値:53)。
Jev 1.13のタスクあたりの時間は127 msで、特に速い水準です(中央値:188 ms)。
Jev 1.13の料金は入力100万トークンあたり$0.042です。Decision IndexでJev 1.13を実行する平均コストは100万タスクあたり$42です(やや高価、中央値:$32)。
| 開発元 | TypeSafe |
|---|---|
| プロバイダー | TypeSafe |
| 入力モダリティ | 対応:テキスト |
| コンテキストウィンドウ | 64k |
| 入力料金 | 100万トークンあたり$0.042 |
スコア
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. 100万タスクあたりのコスト
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
キャリブレーション
Artificial Analysis Decision Index:キャリブレーション
モデルが選んだ回答に付けた確率に対する正答率 · 0.1刻みの区間(回答20件以上) · 各ベンチマークを均等に重み付け
言語モデルのキャリブレーションは近日公開予定です。
時間
Artificial Analysis Decision Index:タスクあたりの時間
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
コスト
Artificial Analysis Decision Index:100万タスクあたりのコスト
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better