Artificial Analysis Decision Index
Microsoft
Microsoft-Decision-1.1: リリース、Decision Indexスコア、性能、価格
モデル概要
他の意思決定モデルと比較すると、Microsoft-Decision-1.1のDecision Indexスコアは平均以上ですが、料金はやや高価です。また、処理速度は特に速い水準です。このモデルはテキスト入力に対応し、コンテキストウィンドウは33kトークンです。
Microsoft-Decision-1.1のArtificial Analysis Decision Indexスコアは68で、意思決定モデルの中では平均以上です(中央値:66)。
Microsoft-Decision-1.1のタスクあたりの時間は123 msで、特に速い水準です(中央値:206 ms)。
Microsoft-Decision-1.1の料金は入力100万トークンあたり$0.042です。Decision IndexでMicrosoft-Decision-1.1を実行する平均コストは100万タスクあたり$140です(やや高価、中央値:$137)。
| 開発元 | Microsoft |
|---|---|
| プロバイダー | Microsoft Azure |
| 入力モダリティ | 対応:テキスト |
| コンテキストウィンドウ | 33k |
| 入力料金 | 100万トークンあたり$0.042 |
スコア
Artificial Analysis Decision Index
Weighted average of the Decision Score on AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1, and the Symmetry Score on AA-Symmetry v1.1 · Accuracy less the Brier score of the chosen answer's probability, from 0 to 100 where 100 is certain and right · Higher is better
Artificial Analysis Decision Index vs. 100万タスクあたりのコスト
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD)
Most attractive quadrant
Pareto line
正答率
このセクションでは各評価の主要指標を示し、最初にその加重平均を示します。正答率のタブでは、正答率はモデルが最も高い確率を割り当てた選択肢が正しかった質問の割合です。
Artificial Analysis Decision Index:主要指標
Weighted average of the headline metrics of AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1, and AA-Symmetry v1.1 · Higher is better
キャリブレーション
Artificial Analysis Decision Index:ブライアスコア
Mean squared gap between the chosen answer's probability and whether it is right, from 0 to 1 · AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1 averaged with the index's weights · Lower is better
Artificial Analysis Decision Index:キャリブレーション
モデルが選んだ回答に付けた確率に対する正答率 · 0.1刻みの区間(回答20件以上) · 各ベンチマークを均等に重み付け · 回答を控えた解答は除外
時間
Artificial Analysis Decision Index:タスクあたりの時間
Each evaluation's median time per task, averaged with the index's weights · Lower is better
コスト
Artificial Analysis Decision Index:100万タスクあたりのコスト
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better