AA-3D 벤치마킹 방법론

범위 및 배경

AA-3D v1.0은 AI 모델이 인터랙티브 3D 경험을 얼마나 잘 구축하는지 측정합니다. 각 모델은 서면 작업 설명을 받고, 오프라인 샌드박스에서 three.js로 단일 웹 페이지를 구축합니다. 이 페이지에서는 장면을 생성하는 방법과 사람의 선호도 투표를 통해 품질을 측정하는 방법을 설명합니다.

모든 모델은 동일한 작업 설명, 지시사항, 도구, 제한을 받으므로 장면을 최대한 비교할 수 있습니다. 자세한 내용은 아래 기본 생성 설정에 나와 있습니다.

각 모델의 Elo 점수는 AA-3D 투표에서 당사가 모집한 패널이 진행한 블라인드 투표로 도출된 상대적 품질을 나타냅니다. 모든 표에 같은 가중치를 두는 Bradley-Terry 최대우도추정법으로 평점을 계산한 뒤, 읽기 쉽도록 Elo와 유사한 범위로 다시 조정합니다. 각 평점과 함께 샌드위치 추정량으로 계산한 95% 신뢰 구간을 표시하며, 모델이 더 많은 표를 받을수록 구간이 좁아집니다. Image Arena, Video Arena, Music Arena는 이와 달리 거듭제곱 법칙으로 가중치를 둔 Bradley-Terry 모델과 헤시안 기반 신뢰 구간을 사용합니다.

투표

품질 Elo는 전적으로 당사가 모집한 패널이 블라인드 방식으로 진행하는 일대일 선호도 투표를 기반으로 합니다. 각 비교에서 패널 참가자는 서로 다른 두 모델이 동일한 작업을 위해 구축한 장면 두 개를 보고, 두 장면을 모두 직접 조작해 본 뒤 더 선호하는 장면을 선택합니다. AA-3D 투표에서 일반 사용자가 던진 표는 평점 계산에 포함되지 않습니다.

시청 요건: 각 장면을 최소 30초 이상 본 뒤에만 투표할 수 있으므로, 첫인상이 아닌 각 장면에 들인 시간을 바탕으로 선호도를 판단하게 됩니다.
블라인드: 패널 참가자는 투표 후에도 모델 이름이나 식별할 수 있는 정보를 전혀 볼 수 없습니다.
품질 검사: 각 세션의 비교 중 약 4개 중 1개는 합의가 뚜렷한 정답이 있는 비교입니다. 이 검사를 통과하지 못한 세션은 거부되고 해당 세션의 모든 표가 삭제되며, 품질 검사용 표는 평점에 반영되지 않습니다.

장면 적격성

장면을 AA-3D 투표에 추가하기 전에 각 장면이 정상적으로 실행되는지 확인합니다. 두 단계 중 하나라도 통과하지 못한 장면은 투표 대상에서 제외됩니다.

자동 검사: 소프트웨어 렌더링을 사용하는 헤드리스 브라우저에서 각 장면을 엽니다. 장면이 로드되고 첫 프레임을 그리기까지 최대 60초가 주어집니다. 또한 계속 렌더링되고, 빈 화면이 아닌 이미지를 표시하고, 오프라인에서 오류 없이 실행되어야 합니다.
검토: 검사를 통과한 각 장면은 패널 참가자에게 표시하기 전에 당사가 검토합니다.

리더보드

AA-3D v1.0의 글로벌 리더보드를 공개합니다.

글로벌 리더보드: 당사가 모집한 패널의 유효한 투표를 모두 집계합니다.

작업

AA-3D v1.0에는 55개 작업이 있습니다. 각 작업은 회전하는 블랙홀, 플레이할 수 있는 핀볼 테이블, 콜로세움처럼 하나의 인터랙티브 장면을 서면으로 설명합니다. 설명에는 장면이 보여 줘야 할 내용과 사용자가 장면과 상호작용하는 방식이 담겨 있으며, 구현은 모델에 맡깁니다.

작업은 명소와 실제 장소, 기계, 자연 현상, 생명체, 게임·스포츠·조종, 우주, 이야기와 판타지의 7개 분야에 걸쳐 있습니다.

기본 생성 설정

모든 모델은 당사의 오픈 소스 에이전트 하네스인 Stirrup에서 실행합니다. 각 작업은 네트워크에 접근할 수 없는 별도의 샌드박스에서 실행됩니다.

설정	값
작업당 시도 횟수	1
에이전트 턴	최대 250
시간 제한	작업당 3시간
컴퓨팅	CPU 코어 4개, 메모리 8 GB, GPU 없음(WebGL은 소프트웨어로 렌더링)
출력물	에셋을 포함한 HTML 페이지 1개, 최대 200 MiB(번들된 three.js 및 Rapier 라이브러리 제외)
도구	three.js 0.186.0, Rapier 0.20.0(선택 사항), Blender 4.5(선택 사항), Python 3, Node.js 22, 모델이 자체 결과물을 테스트하는 헤드리스 Chromium 브라우저
에셋 라이브러리	Poly Haven, ambientCG, Kenney, Quaternius, KayKit의 선택적 CC0 조명, 머티리얼, 3D 모델, 캐릭터, 애니메이션 클립

설정은 AA-3D 투표에서 사용하는 모든 장면에 걸쳐 모델마다 동일하게 유지됩니다.

모델 및 제공업체 포함 기준

사용자가 AI 모델을 선택하는 데 도움이 되도록 인기 있고 성능이 우수한 모델을 분석하고 비교하는 것이 목표입니다. 이에 따라 업계 중요도와 경쟁력 있는 성능을 검증해 신규 모델과 제공업체의 포함 여부를 평가합니다. 이 기준을 지속적으로 개선하고 있으며 의견이나 제안을 환영합니다. 모델 또는 제공업체를 제안하려면 문의 페이지를 통해 연락해 주세요.

독립성 선언

벤치마킹은 엄격한 독립성과 객관성을 바탕으로 수행됩니다. Artificial Analysis에 등재하거나 유리한 결과를 제공하는 대가로 어떠한 제공업체로부터도 보상을 받지 않습니다.