Artificial Analysis Progress Index v1
Artificial Analysis Progress Index v1 是一个覆盖 2022 年以来语言模型的统一能力量表。它采用项目反应理论(一种用于标准化考试评分的统计方法),基于我们的评测结果为每个模型估计一个通用能力分数,其中包括已停用或从未纳入 Intelligence Index 的评测。
Intelligence Index 采用当下对开发者最相关的评测,因此其评测组合会随着评测的加入和停用而变化,不同版本的分数无法相互比较。选择当下使用的模型时请参考 Intelligence Index;查看能力随时间的变化请参考 Progress Index v1。
Progress Index v1 借鉴了将模型置于统一能力量表上的已有研究,尤其是 Epoch AI 的 Epoch Capabilities Index,以及 Anthropic 在 Claude Mythos Preview 系统卡中发布的能力量表。
各实验室的前沿水平
Artificial Analysis Progress Index v1 变化趋势
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown