Metodologia de benchmarking do AA-3D
Escopo e contexto
O AA-3D v1.0 mede o quão bem os modelos de IA criam experiências 3D interativas. Cada modelo recebe uma descrição escrita da tarefa e cria uma única página web com three.js em um sandbox offline. Esta página descreve como geramos as cenas e como medimos sua qualidade por meio de votos de preferência humana.
Todos os modelos recebem a mesma descrição da tarefa e as mesmas instruções, ferramentas e limites, para que as cenas sejam o mais comparáveis possível. Esses itens estão listados abaixo, em Configurações padrão de geração.
Elo de qualidade
A pontuação Elo de cada modelo reflete sua qualidade relativa, com base nos votos cegos do nosso painel recrutado na Votação do AA-3D. Calculamos as classificações usando estimativa de máxima verossimilhança de Bradley-Terry, com o mesmo peso para cada voto, e as redimensionamos para uma faixa semelhante à do Elo, facilitando a leitura. Um intervalo de confiança de 95%, calculado com o estimador sanduíche, é informado junto a cada classificação e fica mais estreito à medida que um modelo recebe mais votos. Nossas Arenas de Imagem, Vídeo e Música usam um ajuste diferente: Bradley-Terry ponderado por uma lei de potência, com intervalos de confiança baseados na matriz hessiana.
Votação
O Elo de qualidade é totalmente baseado em votos cegos e pareados de preferência do nosso painel recrutado. Em cada comparação, o participante do painel vê duas cenas criadas para a mesma tarefa por dois modelos diferentes, interage com as duas e seleciona a que prefere. Os votos públicos registrados na Votação do AA-3D não entram no cálculo das classificações.
- Requisito de visualização: só é possível votar depois de visualizar cada cena por pelo menos 30 segundos, para que as preferências reflitam o tempo passado com cada cena, e não uma primeira impressão.
- Votação cega: os participantes do painel nunca veem os nomes dos modelos nem qualquer detalhe que possa identificá-los, nem mesmo depois de votar.
- Verificações de qualidade: cerca de uma em cada quatro comparações de cada sessão tem uma resposta de forte consenso. As sessões que não passam nessas verificações são rejeitadas e todos os seus votos são removidos, e os votos de verificação de qualidade não entram na classificação.
Elegibilidade das cenas
Antes de as cenas entrarem na Votação do AA-3D, verificamos se cada uma funciona. Uma cena que falha em qualquer uma das etapas é excluída da votação.
- Verificação automática: abrimos cada cena em um navegador headless com renderização por software. Ela tem até 60 segundos para carregar e desenhar o primeiro quadro, e também precisa continuar renderizando, exibir uma imagem que não esteja em branco e funcionar offline sem erros.
- Revisão: revisamos cada cena aprovada na verificação antes de exibi-la aos participantes do painel.
Rankings
Publicamos um Ranking global do AA-3D v1.0.
- Ranking global: reúne todos os votos elegíveis do nosso painel recrutado.
Tarefas
O AA-3D v1.0 tem 55 tarefas. Cada tarefa é uma descrição escrita de uma cena interativa, como um buraco negro girando, uma mesa de pinball jogável ou o Coliseu. A descrição define o que a cena deve mostrar e como os usuários interagem com ela, e deixa a implementação a cargo do modelo.
As tarefas abrangem sete domínios: monumentos e lugares reais; máquinas; fenômenos naturais; seres vivos; jogos, esportes e pilotagem; o espaço; e histórias e fantasia.
Configurações padrão de geração
Executamos todos os modelos no Stirrup, nosso harness de agentes de código aberto. Cada tarefa é executada em seu próprio sandbox, sem acesso à rede.
| Configuração | Valor |
|---|---|
| Tentativas por tarefa | 1 |
| Turnos do agente | Até 250 |
| Limite de tempo | 3 horas por tarefa |
| Computação | 4 núcleos de CPU e 8 GB de memória, sem GPU (o WebGL é renderizado por software) |
| Saída | Uma página HTML com seus recursos, de até 200 MiB, sem contar as bibliotecas three.js e Rapier incluídas |
| Ferramentas | three.js 0.186.0, Rapier 0.20.0 (opcional), Blender 4.5 (opcional), Python 3, Node.js 22 e um navegador Chromium headless para o modelo testar o próprio trabalho |
| Biblioteca de recursos | Iluminação, materiais, modelos 3D, personagens e clipes de animação CC0 opcionais de Poly Haven, ambientCG, Kenney, Quaternius e KayKit |
As configurações são mantidas constantes para todos os modelos em todas as cenas usadas na Votação do AA-3D.
Critérios de inclusão de modelos e provedores
Nosso objetivo é analisar e comparar modelos de IA populares e de alto desempenho, ajudando os usuários a escolher entre eles. Por isso, aplicamos testes de relevância no setor e desempenho competitivo para avaliar a inclusão de novos modelos e provedores. Aprimoramos continuamente esses critérios e recebemos comentários e sugestões. Para sugerir modelos ou provedores, entre em contato pela página de contato.
Declaração de independência
O benchmarking é realizado com total independência e objetividade. Não recebemos remuneração de nenhum provedor por sua inclusão na Artificial Analysis nem por resultados favoráveis.