Warmth指数
親しみやすく、ユーモアがあり、真摯で、感情に寄り添う。この指数は、各構成特性のEloをベンチマークで評価したすべてのモデルにわたってzスコア化し、反転した特性は負の値として平均を計算し、その結果を1〜100のパーセンタイル順位にします。
評価対象の42モデルの中で、warmthが最も高いのはMuse Wonder (Max)、最も低いのはNemotron 3 Ultra 550B A55B (Reasoning)です。
この指数を構成する4個の特性にわたって、Eloスコアの平均は89〜1508の範囲で、モデルごとの95%信頼区間は通常±31 Elo、1〜100のスケールではおよそ±4ポイントです。
Warmthのリーダーボード
各モデルの構成特性のEloのzスコアの平均を、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。ひげは各モデルの95%信頼区間を示します。
AA-PersonalityBench: Warmth指数
親しみやすく、ユーモアがあり、真摯で、感情に寄り添う · friendly、humorous、sincere、emotionally intelligentにわたる各モデルのEloのzスコアの平均 · ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位
構成特性
Warmthは、4個の特性のzスコア化したEloから構成されます。 各特性を開くと、その完全なリーダーボードを確認できます。
特性リーダーボード
各構成特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。
AA-PersonalityBench: Friendly
回答は、わざとらしくならずに温かみと親しみやすさを伝えていますか？ · 特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたもの