Metodología de benchmarking de AA-3D
Alcance y contexto
AA-3D v1.0 mide qué tan bien los modelos de IA crean experiencias 3D interactivas. Cada modelo recibe una descripción escrita de la tarea y crea una sola página web con three.js en un sandbox sin conexión. Esta página describe cómo generamos las escenas y cómo medimos su calidad mediante votos de preferencia humana.
Todos los modelos reciben la misma descripción de la tarea y las mismas instrucciones, herramientas y límites, para que las escenas sean lo más comparables posible. Se detallan más abajo en Configuración predeterminada de generación.
Elo de calidad
El puntaje Elo de cada modelo refleja su calidad relativa, derivada de votos a ciegas de nuestro panel reclutado en la Votación de AA-3D. Calculamos las calificaciones usando estimación de máxima verosimilitud Bradley-Terry, con el mismo peso para cada voto, y las reescalamos a un rango similar a Elo para facilitar la lectura. Junto a cada calificación se reporta un intervalo de confianza del 95% calculado con el estimador sándwich, que se estrecha a medida que un modelo recibe más votos. Nuestras Arenas de imagen, video y música usan un ajuste distinto: Bradley-Terry ponderado con una ley de potencias, con intervalos de confianza basados en la matriz hessiana.
Votación
El Elo de calidad proviene completamente de votos de preferencia ciegos y por pares emitidos por nuestro panel reclutado. En cada comparación, la persona del panel ve dos escenas creadas para la misma tarea por dos modelos distintos, interactúa con ambas y selecciona la que prefiere. Los votos públicos emitidos en la Votación de AA-3D no entran en el cálculo de las calificaciones.
- Requisito de visualización: solo se puede emitir un voto después de ver cada escena durante al menos 30 segundos, para que las preferencias reflejen el tiempo dedicado a cada escena y no una primera impresión.
- Ciego: las personas del panel nunca ven los nombres de los modelos ni ningún detalle identificador, ni siquiera después de votar.
- Controles de calidad: alrededor de una de cada cuatro comparaciones de cada sesión tiene una respuesta de amplio consenso. Las sesiones que no superan estos controles se rechazan y se eliminan todos sus votos, y los votos de control de calidad no cuentan en la calificación.
Elegibilidad de las escenas
Antes de que las escenas entren en la Votación de AA-3D, comprobamos que cada una funcione. Una escena que no supera alguno de los dos pasos queda excluida de la votación.
- Comprobación automática: abrimos cada escena en un navegador headless con renderizado por software. Tiene hasta 60 segundos para cargar y dibujar su primer fotograma, y además debe seguir renderizando, mostrar una imagen que no esté en blanco y funcionar sin conexión y sin errores.
- Revisión: revisamos cada escena que supera la comprobación antes de mostrarla a las personas del panel.
Rankings
Publicamos un Ranking global de AA-3D v1.0.
- Ranking global: agrega todos los votos elegibles de nuestro panel reclutado.
Tareas
AA-3D v1.0 tiene 55 tareas. Cada tarea es una descripción escrita de una escena interactiva, como un agujero negro que gira, una mesa de pinball jugable o el Coliseo. La descripción indica qué debe mostrar la escena y cómo interactúan los usuarios con ella, y deja la implementación al modelo.
Las tareas abarcan siete dominios: monumentos y lugares reales; máquinas; fenómenos naturales; seres vivos; juegos, deportes y pilotaje; el espacio; e historias y fantasía.
Configuración predeterminada de generación
Ejecutamos cada modelo en Stirrup, nuestro entorno de agentes de código abierto. Cada tarea se ejecuta en su propio sandbox sin acceso a la red.
| Configuración | Valor |
|---|---|
| Intentos por tarea | 1 |
| Turnos del agente | Hasta 250 |
| Límite de tiempo | 3 horas por tarea |
| Cómputo | 4 núcleos de CPU y 8 GB de memoria, sin GPU (WebGL se renderiza por software) |
| Resultado | Una página HTML con sus recursos, de hasta 200 MiB, sin contar las bibliotecas three.js y Rapier incluidas |
| Herramientas | three.js 0.186.0, Rapier 0.20.0 (opcional), Blender 4.5 (opcional), Python 3, Node.js 22 y un navegador Chromium headless para que el modelo pruebe su propio trabajo |
| Biblioteca de recursos | Iluminación, materiales, modelos 3D, personajes y clips de animación CC0 opcionales de Poly Haven, ambientCG, Kenney, Quaternius y KayKit |
La configuración se mantiene constante para todos los modelos en todas las escenas usadas en la Votación de AA-3D.
Criterios de inclusión de modelos y proveedores
Nuestro objetivo es analizar y comparar modelos de IA populares y de alto rendimiento para ayudar a los usuarios a elegir entre ellos. Por eso aplicamos pruebas de relevancia en la industria y rendimiento competitivo para evaluar la inclusión de nuevos modelos y proveedores. Refinamos estos criterios continuamente y aceptamos con gusto comentarios o sugerencias. Para sugerir modelos o proveedores, contáctanos mediante la página de contacto.
Declaración de independencia
El benchmarking se realiza con estricta independencia y objetividad. No recibimos compensación de ningún proveedor por aparecer listado ni por resultados favorables en Artificial Analysis.