AA-3D 基准测试方法论
范围与背景
AA-3D v1.0 衡量 AI 模型构建交互式 3D 体验的能力。每个模型会收到一份书面任务说明，并在离线沙箱中使用 three.js 构建单个网页。本页介绍我们如何生成场景，以及如何通过人类偏好投票衡量场景质量。
每个模型都会收到相同的任务说明、指令、工具和限制，使各场景尽可能具有可比性。具体内容见下方的“默认生成设置”。
质量 Elo
每个模型的 Elo 分数反映其相对质量，来源于我们招募的评审面板在 AA-3D 投票中的盲测投票。我们使用 Bradley-Terry 最大似然估计计算评分，每张投票的权重相同，并将评分重新缩放至类 Elo 区间以便于阅读。每个评分旁会同时给出用三明治估计器计算的 95% 置信区间，随着模型获得更多投票，该区间会逐渐收窄。我们的图像、视频和音乐竞技场采用不同的拟合方法：按幂律加权的 Bradley-Terry 模型，置信区间基于海森矩阵计算。
投票
质量 Elo 完全来自我们招募的评审面板的盲测成对偏好投票。在每次比较中，面板参与者会看到两个不同模型为同一任务构建的两个场景，与两者交互后选出更偏好的一个。公众在 AA-3D 投票中投出的票不计入评分计算。
- 观看要求： 只有在每个场景都观看至少 30 秒后才能投票，以确保偏好反映的是在每个场景上投入的时间，而非第一印象。
- 盲测： 面板参与者始终看不到模型名称或任何可识别身份的细节，投票后也不会看到。
- 质量检查： 每个会话中约四分之一的比较具有高度共识的答案。未通过这些检查的会话会被拒绝，其全部投票也会被删除；质量检查投票不计入评分。
场景准入
在场景进入 AA-3D 投票之前，我们会检查每个场景能否正常运行。任一步骤未通过的场景都会被排除在投票之外。
- 自动检查： 我们在使用软件渲染的无头浏览器中打开每个场景。场景最多有 60 秒时间完成加载并绘制第一帧，此外还必须持续渲染、显示非空白画面，并能在离线状态下无错误运行。
- 人工审核： 通过检查的每个场景在展示给面板参与者之前都会经过我们的审核。
排行榜
我们为 AA-3D v1.0 发布全球排行榜。
- 全球排行榜： 汇总我们招募的评审面板全部符合条件的投票。
任务
AA-3D v1.0 包含 55 项任务。每项任务都是针对一个交互式场景的书面说明，例如旋转的黑洞、可玩的弹球台或罗马斗兽场。说明会描述场景必须展示的内容以及用户如何与之交互，具体实现则交由模型完成。
任务涵盖七个领域：地标与真实地点；机器；自然现象；生物；游戏、运动与驾驶；太空；故事与奇幻。
默认生成设置
我们在开源智能体框架 Stirrup 中运行每个模型。每项任务都在各自独立的沙箱中运行，无法访问网络。
| 设置项 | 值 |
|---|---|
| 每项任务的尝试次数 | 1 |
| 智能体轮数 | 最多 250 |
| 时间限制 | 每项任务 3 小时 |
| 计算资源 | 4 个 CPU 核心和 8 GB 内存，无 GPU（WebGL 通过软件渲染） |
| 输出 | 一个包含其资源的 HTML 页面，最大 200 MiB，不含随附的 three.js 和 Rapier 库 |
| 工具 | three.js 0.186.0、Rapier 0.20.0（可选）、Blender 4.5（可选）、Python 3、Node.js 22，以及供模型自测的无头 Chromium 浏览器 |
| 资源库 | 来自 Poly Haven、ambientCG、Kenney、Quaternius 和 KayKit 的可选 CC0 光照、材质、3D 模型、角色和动画片段 |
在 AA-3D 投票使用的所有场景中，每个模型的设置均保持不变。
模型与服务商收录标准
我们的目标是分析和比较热门且高性能的 AI 模型，帮助用户做出选择。为此，我们根据行业重要性和竞争力表现评估是否收录新的模型与服务商。我们持续优化这些标准，欢迎反馈和建议。如需推荐模型或服务商，请通过联系页面与我们联系。
独立性声明
基准测试以严格的独立性和客观性进行。Artificial Analysis 不接受任何服务商为获得上榜或有利结果而提供的报酬。