Informativeness指数
実践的な深さ、根拠、実行可能な内容。この指数は、各構成特性のEloをベンチマークで評価したすべてのモデルにわたってzスコア化し、反転した特性は負の値として平均を計算し、その結果を1〜100のパーセンタイル順位にします。
評価対象の42モデルの中で、informativenessが最も高いのはMuse Spark 1.3 (Max)、最も低いのはGPT-3.5 Turboです。
この指数を構成する5個の特性にわたって、Eloスコアの平均は−14〜1773の範囲で、モデルごとの95%信頼区間は通常±32 Elo、1〜100のスケールではおよそ±4ポイントです。
Informativenessのリーダーボード
各モデルの構成特性のEloのzスコアの平均を、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。ひげは各モデルの95%信頼区間を示します。
AA-PersonalityBench: Informativeness指数
実践的な深さ、根拠、実行可能な内容 · information dense、evidence-based、resource-specific、actionable guidance、pragmaticにわたる各モデルのEloのzスコアの平均 · ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位
構成特性
Informativenessは、5個の特性のzスコア化したEloから構成されます。 各特性を開くと、その完全なリーダーボードを確認できます。
特性リーダーボード
各構成特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。
AA-PersonalityBench: Information Dense
各文は、表面的な一般論ではなく具体的な内容で、読み手にどれだけのことを伝えていますか？ · 特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたもの