Bison 31B: リリース、Decision Indexスコア、性能、価格
モデル概要
他の意思決定モデルと比較すると、Bison 31BのDecision Indexスコアはトップクラスですが、料金は特に高価です。また、処理速度は平均より速い水準です。このモデルはテキスト、画像入力に対応し、コンテキストウィンドウは33kトークンです。
Bison 31BのArtificial Analysis Decision Indexスコアは76で、意思決定モデルの中では平均を大きく上回る水準です(中央値:66)。
Bison 31Bのタスクあたりの時間は154 msで、平均より速い水準です(中央値:199 ms)。
Bison 31Bの料金は入力100万トークンあたり$0.10です。Decision IndexでBison 31Bを実行する平均コストは100万タスクあたり$345です(高価、中央値:$137)。
| 開発元 | Base Labs |
|---|---|
| プロバイダー | Base Labs |
| 入力モダリティ | 対応:テキスト、画像 |
| コンテキストウィンドウ | 33k |
| 入力料金 | 100万トークンあたり$0.10 |
スコア
Artificial Analysis Decision Index
Weighted average of the Decision Score on AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1, and the Symmetry Score on AA-Symmetry v1.1 · Accuracy less the Brier score of the chosen answer's probability, from 0 to 100 where 100 is certain and right · Higher is better
Artificial Analysis Decision Index vs. 100万タスクあたりのコスト
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD)
Most attractive quadrant
Pareto line
正答率
このセクションでは各評価の主要指標を示し、最初にその加重平均を示します。正答率のタブでは、正答率はモデルが最も高い確率を割り当てた選択肢が正しかった質問の割合です。
Artificial Analysis Decision Index:主要指標
Weighted average of the headline metrics of AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1, and AA-Symmetry v1.1 · Higher is better
キャリブレーション
Artificial Analysis Decision Index:ブライアスコア
Mean squared gap between the chosen answer's probability and whether it is right, from 0 to 1 · AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1 averaged with the index's weights · Lower is better
Artificial Analysis Decision Index:キャリブレーション
モデルが選んだ回答に付けた確率に対する正答率 · 0.1刻みの区間(回答20件以上) · 各ベンチマークを均等に重み付け · 回答を控えた解答は除外
時間
Artificial Analysis Decision Index:タスクあたりの時間
Each evaluation's median time per task, averaged with the index's weights · Lower is better
コスト
Artificial Analysis Decision Index:100万タスクあたりのコスト
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better