AA-3Dベンチマークの方法論

投票

品質Eloは、当社が募集したパネルがブラインド方式で行う一対比較の選好投票のみを基にしています。各比較では、2つの異なるモデルが同じタスクのために構築した2つのシーンをパネル参加者に提示します。パネル参加者は両方を操作し、好ましい方を選択します。AA-3D投票で投じられた一般ユーザーの票は、レーティングの計算には含まれません。

• 閲覧要件： 各シーンを少なくとも30秒間閲覧した後にのみ投票できます。これにより、第一印象ではなく、各シーンに費やした時間を踏まえた選好を反映します。
• ブラインド方式： パネル参加者には、投票後も含め、モデル名やその他の識別情報は一切表示されません。
• 品質チェック： 各セッションの比較のうち約4回に1回は、明確な合意のある正解が存在する比較です。このチェックに合格しなかったセッションは却下され、そのすべての投票が削除されます。また、品質チェック用の投票はレーティングに含まれません。

シーンの適格性

シーンをAA-3D投票に追加する前に、各シーンが動作することを確認します。いずれかのステップで不合格となったシーンは投票の対象から除外されます。

• 自動チェック： 各シーンを、ソフトウェアレンダリングを使うヘッドレスブラウザで開きます。シーンには読み込みと最初のフレームの描画に最大60秒が与えられます。さらに、レンダリングを続け、空白でない画像を表示し、オフラインでエラーなく動作する必要があります。
• レビュー： チェックに合格した各シーンは、パネル参加者に表示する前に当社がレビューします。

リーダーボード

AA-3D v1.0のグローバルリーダーボードを公開しています。

• グローバルリーダーボード： 当社が募集したパネルから寄せられた有効な投票をすべて集計します。

タスク

AA-3D v1.0には55のタスクがあります。各タスクは、回転するブラックホール、遊べるピンボール台、コロッセオなど、1つのインタラクティブなシーンについて書かれた説明です。説明ではシーンが表示すべき内容とユーザーの操作方法を定め、実装はモデルに任せます。

タスクは、名所と実在の場所、機械、自然現象、生き物、ゲーム・スポーツ・操縦、宇宙、物語とファンタジーの7つの分野にわたります。