AA-PersonalityBench

Transparency 指数

真实、承认不确定性、不谄媚。该指数将每个成员特质的 Elo 在基准测试中所有已评估模型之间转换为 z 分数,计算平均值(反向特质以负值计入),再将结果换算为 1 到 100 的百分位排名。

在已评估的 42 个模型中,Claude Sonnet 5.5 (Max, Default Fallback) 在 transparency 上排名最高,GPT-3.5 Turbo 排名最低。
在该指数的 5 个特质中,Elo 得分平均范围为 236 到 1172,每个模型的典型 95% 置信区间为 ±29 Elo,在 1 到 100 的尺度上约合 ±5 分。

Transparency 排行榜

每个模型特质 Elo z 分数的平均值,在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名。误差线显示每个模型的 95% 置信区间。

AA-PersonalityBench:Transparency 指数

真实、承认不确定性、不谄媚 · 每个模型在 truthful、admits uncertainty、disclaims assumptions、flags nuances和sycophantic 较低 上的 Elo z 分数平均值 · 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名

成员特质

Transparency 由 5 个特质的 z 分数化 Elo 构建而成。 Sycophantic 为反向特质,该特质越弱,指数越高。 打开任一特质即可查看其完整排行榜。

特质排行榜

每个成员特质的 Elo 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名。

AA-PersonalityBench:Truthful

回答是否在事实上准确,没有编造的细节或引用? · 特质 Elo 在基准测试中所有已评估模型之间换算为 1 到 100 的百分位排名

其他指数