Jev 1.14:发布、Decision Index 得分、性能与价格
模型摘要
与其他决策模型相比,Jev 1.14 的 Decision Index 得分高于平均水平,但价格有些昂贵。此外,其速度明显较快。该模型支持文本输入,上下文窗口为 64k 个 token。
Jev 1.14 在 Artificial Analysis Decision Index 上的得分为 57,在决策模型中高于平均水平(中位数:53)。
Jev 1.14 每项任务耗时 78 ms,明显较快(中位数:188 ms)。
Jev 1.14 每 100 万输入 token 的价格为 US$0.042。在 Decision Index 上运行 Jev 1.14 的平均成本为每百万项任务 $42(有些昂贵,中位数:$32)。
| 开发者 | TypeSafe |
|---|---|
| 服务商 | TypeSafe |
| 输入模态 | 支持:文本 |
| 上下文窗口 | 64k |
| 输入价格 | 每百万 token US$0.042 |
得分
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. 每百万项任务成本
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
校准
Artificial Analysis Decision Index:校准
模型为所选答案给出的概率对应的准确率 · 宽度为 0.1 的区间(至少 20 个回答) · 各基准权重相同
语言模型的校准即将推出。
耗时
Artificial Analysis Decision Index:每项任务耗时
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
成本
Artificial Analysis Decision Index:每百万项任务成本
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better