Imagination 指数
创造性、探索性、开放式的思维。该指数将每个成员特质的 Elo 在基准测试中所有已评估模型之间转换为 z 分数,计算平均值(反向特质以负值计入),再将结果换算为 1 到 100 的百分位排名。
在已评估的 42 个模型中,Muse Spark 1.3 (Max) 在 imagination 上排名最高,GPT-3.5 Turbo 排名最低。
在该指数的 2 个特质中,Elo 得分平均范围为 −107 到 1403,每个模型的典型 95% 置信区间为 ±32 Elo,在 1 到 100 的尺度上约合 ±4 分。
Imagination 排行榜
每个模型特质 Elo z 分数的平均值,在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名。误差线显示每个模型的 95% 置信区间。
AA-PersonalityBench:Imagination 指数
创造性、探索性、开放式的思维 · 每个模型在 creative和open-ended 上的 Elo z 分数平均值 · 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名
成员特质
Imagination 由 2 个特质的 z 分数化 Elo 构建而成。 打开任一特质即可查看其完整排行榜。
特质排行榜
每个成员特质的 Elo 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名。
AA-PersonalityBench:Creative
回答是否提供富有想象力、原创或出人意料的思路? · 特质 Elo 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名