Imagination指数
創造的、探求的、オープンエンドな思考。この指数は、各構成特性のEloをベンチマークで評価したすべてのモデルにわたってzスコア化し、反転した特性は負の値として平均を計算し、その結果を1〜100のパーセンタイル順位にします。
評価対象の42モデルの中で、imaginationが最も高いのはMuse Spark 1.3 (Max)、最も低いのはGPT-3.5 Turboです。
この指数を構成する2個の特性にわたって、Eloスコアの平均は−107〜1403の範囲で、モデルごとの95%信頼区間は通常±31 Elo、1〜100のスケールではおよそ±4ポイントです。
Imaginationのリーダーボード
各モデルの構成特性のEloのzスコアの平均を、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。ひげは各モデルの95%信頼区間を示します。
AA-PersonalityBench: Imagination指数
創造的、探求的、オープンエンドな思考 · creative、open-endedにわたる各モデルのEloのzスコアの平均 · ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位
構成特性
Imaginationは、2個の特性のzスコア化したEloから構成されます。 各特性を開くと、その完全なリーダーボードを確認できます。
特性リーダーボード
各構成特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたものです。
AA-PersonalityBench: Creative
回答は、想像力に富んだ独創的なアプローチや意外なアプローチを示していますか？ · 特性のEloを、ベンチマークで評価したすべてのモデルにわたる1〜100のパーセンタイル順位にしたもの