OpenAI

Codex: puntuación en el Coding Agent Index, rendimiento y precio

En comparación con otros agentes de programación, Codex está por encima del promedio en el Coding Agent Index, pero tiene un precio algo elevado. También es notablemente rápido. Su mejor resultado usa GPT-6 Astra (Max), y lo probamos con 10 modelos.

Codex con GPT-6 Astra (Max) obtiene 55 puntos en el Artificial Analysis Coding Agent Index, lo que lo sitúa por encima del promedio entre los agentes de programación (mediana: 49).

Con 24.8m por tarea, Codex con GPT-6 Astra (Max) es notablemente rápido (mediana: 36.1m).

En promedio, ejecutar Codex con GPT-6 Astra (Max) en el Coding Agent Index cuesta $7.04 en uso de API por tarea (algo elevado; mediana: $5.41).

Rendimiento

Rendimiento en el Artificial Analysis Coding Agent Index.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index v2.0 incorporates 3 benchmarks: FrontierCode v1.1, Terminal-Bench 4.0, and SWE-Atlas-QnA-AA · Higher is better

Colorear por

Enrutadores de modelos

The Artificial Analysis Coding Agent Index is a composite score built from FrontierCode v1.1, Terminal-Bench 4.0 y SWE-Atlas-QnA-AA.

It is useful for quick comparison, but it should be read alongside the per-eval breakdowns. Two agents with similar index values can still have different strengths across repository tasks, terminal workflows, and rubric-based evaluations.

Artificial Analysis Coding Agent Index vs. costo por tarea

Artificial Analysis Coding Agent Index vs. promedio del costo de la API de pago por token por tarea (USD)

Colorear por

Enrutadores de modelos

Most attractive quadrant

Pareto line

Each point represents a coding-agent variant. Farther left means lower average cost per task, while higher on the chart means higher benchmark performance. The most efficient agents sit toward the upper-left: stronger results at lower cost.

Uso de tokens

Consumo de tokens en el Artificial Analysis Coding Agent Index, incluyendo uso total, distribución de tokens, eficiencia y desgloses por benchmark.

Uso de tokens por tarea

Promedio de tokens de entrada, caché y salida por tarea

Enrutadores de modelos

Las tasas de aciertos de la caché de prompts pueden variar mucho según el enrutamiento del proveedor, lo que puede cambiar sustancialmente el costo efectivo.

Non-cached input tokens sent to the model, including prompts, instructions, tool context, and task context that were not served from prompt cache.

Artificial Analysis Coding Agent Index vs. tokens totales

Artificial Analysis Coding Agent Index vs. promedio de tokens totales por tarea

Colorear por

Enrutadores de modelos

Most attractive quadrant

Each point represents a coding-agent variant. Farther left means lower average total token usage per task, while higher on the chart means higher benchmark performance. Agents toward the upper-left achieve stronger results with fewer tokens.

Costo

Costo en el Artificial Analysis Coding Agent Index según los precios actuales de la API por token, incluyendo el precio de escritura de caché y los descuentos de caché cuando están disponibles. Muchos usuarios accederán a los harness de agentes de programación mediante planes de suscripción en lugar de pago por token.

Costo por tarea

Average pay-per-token API cost per task (USD) · Lower is better

Colorear por

Enrutadores de modelos

This chart shows the average pay-per-token API cost per task across the Artificial Analysis Coding Agent Index, spanning FrontierCode v1.1, Terminal-Bench 4.0 y SWE-Atlas-QnA-AA.

Where applicable, that cost model includes standard input pricing, discounted cached-input pricing, separate cache-write charges, and output pricing rather than treating all prompt tokens as if they were billed at the same uncached input rate.

It is intended to show pay-per-token API cost, not consumer plan pricing or the full operational cost of deploying the system in production. Infrastructure, engineering, and supervision costs are not the focus of this metric.

Tiempo de ejecución

Tiempo de ejecución activo del agente en el Artificial Analysis Coding Agent Index.

Tiempo por tarea

Average agent wall time per task · Lower is better

Colorear por

Enrutadores de modelos

This chart uses agent wall time: how long the agent process was actively running on each task.

It does not include environment startup, verifier or judge time, or other harness overhead, so it is a cleaner comparison of how long the agent itself was working.

Artificial Analysis Coding Agent Index vs. tiempo de ejecución

Artificial Analysis Coding Agent Index vs. promedio del tiempo de ejecución del agente por tarea

Colorear por

Enrutadores de modelos

Most attractive quadrant

Each point represents a coding-agent variant. Farther left means shorter average agent runtime per task, while higher on the chart means higher benchmark performance. Agents toward the upper-left deliver stronger results in less active agent time.

Rechazos de Seguridad

Metodología

Con qué frecuencia el proveedor o el modelo se niega a continuar con una tarea por motivos de seguridad en el Artificial Analysis Coding Agent Index.

Tasa de Rechazos de Seguridad

Share of retained task attempts with a safety refusal · Equal weight per benchmark · Lower is better

Desglosar por

Enrutadores de modelos

El comportamiento de seguridad y de modelo alternativo lo configura el proveedor y puede cambiar con el tiempo; estas tasas reflejan el comportamiento registrado en el momento de la evaluación.

Bloqueado terminó el intento. Modelo alternativo significa que otro modelo lo completó. Ambos cuentan para la tasa de rechazos.

Reward Hacking

Metodología

Proporción de intentos que habrían aprobado, pero reciben una calificación de cero por una infracción de integridad.

Tasa de Reward Hacking: FrontierCode v1.1

Share of task attempts scored zero for reward hacking · Usamos una versión modificada del escáner basado en reglas de Cognition para detectar acceso no permitido a material con soluciones · Lower is better

Colorear por

Enrutadores de modelos

Codex: puntuación en el Coding Agent Index, rendimiento y precio

Resumen comparativo

Rendimiento

Artificial Analysis Coding Agent Index

What This Metric Means

Artificial Analysis Coding Agent Index vs. costo por tarea

How to Read This Chart

Uso de tokens

Uso de tokens por tarea

Input Tokens

Artificial Analysis Coding Agent Index vs. tokens totales

How to Read This Chart

Costo

Costo por tarea

What Cost Is Measuring

Tiempo de ejecución

Tiempo por tarea

What Execution Time Is Measuring

Artificial Analysis Coding Agent Index vs. tiempo de ejecución

How to Read This Chart

Rechazos de Seguridad

Tasa de Rechazos de Seguridad

Resultados de los rechazos de seguridad

Reward Hacking

Tasa de Reward Hacking: FrontierCode v1.1

Especificaciones de la ejecución