코딩 에이전트 벤치마크

Codex vs. Mistral Vibe

Artificial Analysis Coding Agent Index의 벤치마크 점수, 비용, 실행 시간, 토큰 사용량을 기준으로 Codex 및 Mistral Vibe를 비교합니다.

방법론에 관한 자세한 내용은 방법론 페이지를 참조하세요.

다른 비교 살펴보기
vs
Artificial Analysis Coding Agent Index v2.1 · Higher is better
Average agent wall time per task · Lower is better
Average API cost per task (USD) · Lower is better

비교

Codex 및 Mistral Vibe의 나란히 비교.

지표
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
분석
에이전트 하네스
Codex
Mistral Vibe
대표 모델
GPT-6.2 Astra (Max)
Mistral Large 4 (High)
Coding Agent Index
53
41
Codex의 Coding Agent Index가 Mistral Vibe보다 높습니다
FrontierCode-AA 2.0
42
20
Codex의 FrontierCode-AA 2.0 점수가 Mistral Vibe보다 높습니다
Terminal-Bench 4.1
64
42
Codex의 Terminal-Bench 4.1 점수가 Mistral Vibe보다 높습니다
SWE-Atlas-QnA-AA
55
59
Mistral Vibe의 SWE-Atlas-QnA-AA 점수가 Codex보다 높습니다
작업당 비용
$5.12
$1.34
Mistral Vibe의 작업당 비용이 Codex보다 낮습니다
작업당 시간
25.1m
49.0m
Codex의 작업당 시간이 Mistral Vibe보다 짧습니다
작업당 턴
51
107.3
Codex의 작업당 턴이 Mistral Vibe보다 적습니다
작업당 토큰 사용량
4.67M
9.42M
Codex의 작업당 토큰 사용량이 Mistral Vibe보다 적습니다
캐시 적중률
95%
92%
Codex의 캐시 적중률이 Mistral Vibe보다 높습니다

모델

Codex 및 Mistral Vibe의 평가된 모델.

GPT-6.2 Astra (Max)
max
53
42
64
55
$5.12
25.1m
4.67M
GPT-6.2 Astra (Xhigh)
xhigh
53
43
62
54
$3.20
16.5m
3.09M
GPT-6 Astra (Max)
max
53
43
58
59
$7.63
26.0m
3.47M
GPT-6.2 Astra (High)
high
52
42
60
55
$2.37
15.8m
2.26M
GPT-6.1 Sol (Max)
max
52
42
54
60
$1.51
21.9m
4.33M
GPT-6.2 Sol (Xhigh)
xhigh
50
40
58
51
$0.90
12.6m
3.26M
GPT-6.2 Astra (Medium)
medium
49
40
54
54
$1.20
11.6m
1.02M
GPT-6.1 Terra (Max)
max
49
41
51
54
$1.53
28.1m
14.4M
GPT-6.2 Sol (Max)
max
49
42
58
46
$1.22
17.5m
4.25M
GPT-6.2 Sol (High)
high
47
38
54
51
$0.76
10.6m
2.96M
GPT-6.2 Sol (Medium)
medium
45
36
49
50
$0.57
8.4m
2.28M
GPT-6.2 Sol (Low)
low
37
28
41
42
$0.33
7.2m
1.31M
GPT-6.2 Astra (Low)
low
36
27
44
36
$0.70
7.8m
551k
GPT-6 Luna (Max)
max
26
24
15
38
$0.19
23.5m
10.1M
Mistral Large 4 (High)
high
41
20
42
59
$1.34
49.0m
9.42M
Mistral Large 4 (Medium)
medium
30
18
26
45
$1.02
43.1m
7.73M

성능

Artificial Analysis Coding Agent Index 전반의 성능.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.1 incorporates 3 benchmarks: FrontierCode-AA 2.0, Terminal-Bench 4.1, and SWE-Atlas-QnA-AA · Higher is better
색상 기준

Artificial Analysis Coding Agent Index vs. 작업당 비용

Artificial Analysis Coding Agent Index vs. 작업당 평균 토큰당 종량제 API 비용 (USD)
색상 기준
Most attractive quadrant
Pareto line

토큰 사용량

Artificial Analysis Coding Agent Index 전반의 토큰 소비량.

작업당 토큰 사용량

작업당 평균 입력·캐시·출력 토큰
프롬프트 캐시 적중률은 제공업체 라우팅에 따라 크게 달라질 수 있으며, 이에 따라 실제 비용도 크게 달라질 수 있습니다.

Artificial Analysis Coding Agent Index vs. 총 토큰

Artificial Analysis Coding Agent Index vs. 작업당 평균 총 토큰
색상 기준
Most attractive quadrant

비용

현재 토큰당 가격을 기준으로 한 Artificial Analysis Coding Agent Index의 토큰당 종량제 API 비용.

작업당 비용

Average pay-per-token API cost per task (USD) · Lower is better
색상 기준

실행 시간

Artificial Analysis Coding Agent Index 전반의 활성 에이전트 실행 시간.

작업당 시간

Average agent wall time per task · Lower is better
색상 기준

Artificial Analysis Coding Agent Index vs. 실행 시간

Artificial Analysis Coding Agent Index vs. 작업당 평균 에이전트 실행 시간
색상 기준
Most attractive quadrant