Drex 2.0: リリース、Decision Indexスコア、性能、価格
モデル概要
他の意思決定モデルと比較すると、Drex 2.0のDecision Indexスコアは下位で、料金はやや高価です。また、処理速度は特に遅い水準です。このモデルはテキスト入力に対応し、コンテキストウィンドウは131kトークンです。
Drex 2.0のArtificial Analysis Decision Indexスコアは62で、意思決定モデルの中では下位です(中央値:66)。
Drex 2.0のタスクあたりの時間は255 msで、特に遅い水準です(中央値:199 ms)。
Drex 2.0の料金は入力100万トークンあたり$0.06です。Decision IndexでDrex 2.0を実行する平均コストは100万タスクあたり$200です(やや高価、中央値:$137)。
| 開発元 | Nace.AI |
|---|---|
| プロバイダー | Nace.AI |
| 入力モダリティ | 対応:テキスト |
| コンテキストウィンドウ | 131k |
| 入力料金 | 100万トークンあたり$0.06 |
スコア
Artificial Analysis Decision Index
Weighted average of the Decision Score on AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1, and the Symmetry Score on AA-Symmetry v1.1 · Accuracy less the Brier score of the chosen answer's probability, from 0 to 100 where 100 is certain and right · Higher is better
Artificial Analysis Decision Index vs. 100万タスクあたりのコスト
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD)
Most attractive quadrant
Pareto line
正答率
このセクションでは各評価の主要指標を示し、最初にその加重平均を示します。正答率のタブでは、正答率はモデルが最も高い確率を割り当てた選択肢が正しかった質問の割合です。
Artificial Analysis Decision Index:主要指標
Weighted average of the headline metrics of AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1, and AA-Symmetry v1.1 · Higher is better
キャリブレーション
Artificial Analysis Decision Index:ブライアスコア
Mean squared gap between the chosen answer's probability and whether it is right, from 0 to 1 · AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1 averaged with the index's weights · Lower is better
Artificial Analysis Decision Index:キャリブレーション
モデルが選んだ回答に付けた確率に対する正答率 · 0.1刻みの区間(回答20件以上) · 各ベンチマークを均等に重み付け · 回答を控えた解答は除外
時間
Artificial Analysis Decision Index:タスクあたりの時間
Each evaluation's median time per task, averaged with the index's weights · Lower is better
コスト
Artificial Analysis Decision Index:100万タスクあたりのコスト
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better