Transparency指数
真実性があり、不確実性を認め、迎合しない。この指数は、各構成特性のEloをベンチマークで評価したすべてのモデルにわたってzスコア化し、反転した特性は負の値として平均を計算し、その結果を1〜100のパーセンタイル順位にします。
評価対象の42モデルの中で、transparencyが最も高いのはClaude Sonnet 5.5 (Max, Default Fallback)、最も低いのはGPT-3.5 Turboです。
この指数を構成する5個の特性にわたって、Eloスコアの平均は236〜1175の範囲で、モデルごとの95%信頼区間は通常±30 Elo、1〜100のスケールではおよそ±5ポイントです。
Transparencyのリーダーボード
各モデルの構成特性のEloのzスコアの平均を、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。ひげは各モデルの95%信頼区間を示します。
AA-PersonalityBench: Transparency指数
真実性があり、不確実性を認め、迎合しない · truthful、admits uncertainty、disclaims assumptions、flags nuances、sycophantic（反転）にわたる各モデルのEloのzスコアの平均 · ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位
構成特性
Transparencyは、5個の特性のzスコア化したEloから構成されます。 Sycophanticは反転されるため、弱いほど指数が高くなります。 各特性を開くと、その完全なリーダーボードを確認できます。
特性リーダーボード
各構成特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。
AA-PersonalityBench: Truthful
回答は、でっち上げの詳細や引用がなく、事実として正確ですか？ · 特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたもの