编程智能体基准测试

Codex 与 Opencode

根据 Artificial Analysis Coding Agent Index比较 Codex 与 Opencode,包括基准测试得分、成本、执行时间和 token 用量。

有关我们方法论的详细信息,请参阅方法论页面。

浏览其他比较
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
Average agent wall time per task · Lower is better
Average API cost per task (USD) · Lower is better

比较

Codex 与 Opencode 的并排比较。

指标
GPT-6 Astra (Max)
GLM-5.3 (Max)
分析
智能体 Harness
Codex
Opencode
代表模型
GPT-6 Astra (Max)
GLM-5.3 (Max)
Coding Agent Index
53
40
Codex 的 Coding Agent Index 高于 Opencode
FrontierCode-AA 2.0
43
21
Codex 的 FrontierCode-AA 2.0 分数高于 Opencode
Terminal-Bench 4.1
58
40
Codex 的 Terminal-Bench 4.1 分数高于 Opencode
SWE-Atlas-QnA-AA
59
59
两个智能体的 SWE-Atlas-QnA-AA 分数相同
每个任务的成本
$7.63
$5.41
Opencode 的每个任务成本低于 Codex
每个任务的时间
26.0m
52.8m
Codex 的每个任务时间短于 Opencode
每个任务的轮次
40.8
114
Codex 的每个任务轮次少于 Opencode
每个任务的 Token 用量
3.47M
17.7M
Codex 的每个任务 token 用量少于 Opencode
缓存命中率
93%
97%
Opencode 的缓存命中率高于 Codex

模型

Codex 与 Opencode 的已评估模型。

GPT-6 Astra (Max)
max
53
43
58
59
$7.63
26.0m
3.47M
GPT-6.1 Sol (Max)
max
52
42
54
60
$1.51
21.9m
4.33M
GPT-6.1 Terra (Max)
max
49
41
51
54
$1.53
28.1m
14.4M
GPT-6 Luna (Max)
max
26
24
15
38
$0.19
23.5m
10.1M
GLM-5.3 (Max)
max
40
21
40
59
$5.41
52.8m
17.7M

性能

Artificial Analysis Coding Agent Index上的性能。

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
着色方式

Artificial Analysis Coding Agent Index vs. 每个任务的成本

Artificial Analysis Coding Agent Index vs. 每个任务的平均按 token 计费 API 成本(USD)
着色方式
Most attractive quadrant
Pareto line

Token 用量

Artificial Analysis Coding Agent Index上的 token 消耗。

每个任务的 Token 用量

每个任务的平均输入、缓存和输出 token
提示词缓存命中率可能因提供商路由而显著变化,从而实质性地影响实际成本。

Artificial Analysis Coding Agent Index vs. 总 Token

Artificial Analysis Coding Agent Index vs. 每个任务的平均总 Token
着色方式
Most attractive quadrant

成本

基于当前按 token 计费价格的 Artificial Analysis Coding Agent Index按 token 计费 API 成本。

每个任务的成本

Average pay-per-token API cost per task (USD) · Lower is better
着色方式

执行时间

Artificial Analysis Coding Agent Index上的智能体活跃运行时间。

每个任务的时间

Average agent wall time per task · Lower is better
着色方式

Artificial Analysis Coding Agent Index vs. 执行时间

Artificial Analysis Coding Agent Index vs. 每个任务的平均智能体运行时间
着色方式
Most attractive quadrant