Metodología del Coding Agent Index
Resumen
Artificial Analysis evalúa agentes de programación en tareas de ingeniería de software de extremo a extremo. El objetivo es medir qué tan bien completan trabajo de programación realista y cómo varía el rendimiento según resultado, confiabilidad, uso de tokens, costo y tiempo de ejecución.
Los resultados públicos de la página Coding Agent Index se construyen a partir de intentos de evaluación a nivel de tarea y se agregan en puntuaciones por evaluación, métricas de eficiencia agrupadas y el Artificial Analysis Coding Agent Index.
Esta página se centra en cómo se construye el Artificial Analysis Coding Agent Index público, qué componentes de evaluación se incluyen actualmente y cómo se derivan las métricas públicas de pass@1, costo, uso de tokens y tiempo de ejecución.
Artificial Analysis Coding Agent Index
El Artificial Analysis Coding Agent Index público actual es una puntuación compuesta construida a partir de los componentes configurados en la suite pública de agentes de programación.
El objetivo del índice no es reducir todo el trabajo de programación a un único tipo de tarea de evaluación. Diferentes agentes de programación pueden comportarse de forma muy distinta en preguntas y respuestas sobre repositorios, tareas de implementación y corrección de bugs, y flujos con uso intensivo de terminal. El índice existe para resumir esas distintas familias de evaluaciones en una vista de rendimiento de alto nivel, conservando debajo los desgloses por evaluación.
Componentes del índice
El índice público actual incluye los siguientes componentes de evaluación:
| Evaluación | Campo | Tareas | Intentos por tarea | Tipo de respuesta | Puntuación |
|---|---|---|---|---|---|
| DeepSWE | Ingeniería de software de largo horizonte | 113 | 3 | Parche de código / cambios en repositorio | Verificador de programa pass/fail, pass@1 |
| Terminal-Bench v2 | Uso agéntico de terminal | 84* | 3 | Ejecución de tareas basada en terminal | Resultado pass/fail de la suite de pruebas, pass@1 |
| SWE-Atlas-QnA | Preguntas y respuestas sobre repositorios | 124 | 3 | Respuesta abierta | Task Resolve Rate de Scale AI (pass/fail binario), pass@1 |
* Terminal-Bench v2 contiene originalmente 89 tareas; excluimos cinco tareas por problemas de compatibilidad de entorno.
Tareas evaluadas
El índice público actual cubre 321 tareas evaluadas en los 3 componentes de evaluación.
- Add iterable collection combinators to true-myth
- Abort pending body reads on shutdown
- Add rolling min, max, median, and quantile methods
- Format BigQuery pipe syntax queries correctly
- Add unified manifest stream output across Helm commands
- Add a deterministic CookieStore with modern Set-Cookie parsing
- Preserve restored query state in persisted snapshots
- Add an error-accumulating Validated container
- Add a persistent analysis cache to Vulture
- Add multi-module memory snapshots to wazero
- Add JSONPath query APIs to orderedmap and Starlark modules
- Add a per-origin circuit breaker to ofetch
- Add stepped slices for arrays and strings
- Add `matchEach` to ts-pattern
- Harden module loading, cache introspection, and script flags
- Add action pinning linting for actions and reusable workflows
- Add typed window function builders with OVER clauses
- Add typed blend range access and blend-if compositing
- Add deterministic map conflict detection to Y.Map writes
- Add dependency-aware async initialization to the container
- Add multipart response parsing to HTTPX
- Add scoped per-rule ignore markers to Obsidian Linter
- Partition report files by launcher and expand report templates
- Add keyset cursor pagination to `$find`
- Add ShapeIndex encoding and decoding
- Add entity snapshot and rollback APIs to Koota
- Restore RichLog follow-state parity and expand reflow behavior
- Add duration-aware sharding to Vitest
- Add grouped test phases with synchronized barriers
- Add bidirectional TOML table converters
- Add go:embed directive support for interpreted packages
- Add task snapshots, inspection, and diffing to aiomonitor
- Add drift detection and compliance baselines
- Expose accumulated streamed function-call args in SDK surfaces
- Add grouping-set and window-frame SQL helpers
- Add rule evaluation profiling to Rego
- Add typed variable bindings to Anko
- Add multiplexed ordered streams over KCP
- Add single-active-consumer priority and cancel tracking to virtual transports
- Reconstruct template strings in partial evaluation output
- Add bounded-memory spilling to SCC aggregation
- Fix isolated Go-side calls for Tengo callables and closures
- Add interprocedural taint checks for Bandit injection sinks
- Add deterministic multi-key sorting to fd
- Add task graph export with JSON, DOT, and text output
- Add default arguments to Anko function parameters
- Add deprecation, sunset, and successor headers to FastAPI routes
- Add a checker for broken doc comment links
- Add boundary modes to `@stencil`
- Add retry-aware publishing audit logs
- Add method declarations and interface dispatch to Scriggo
- Add partial structuring with error recovery to cattrs
- Add conditional required attributes to schemas
- Add worktree merge conflict handling
- Add session bundle recording and replay to IPython
- Add flattened dataclass fields to Mashumaro field options
- Add build-time grammar conflict analysis to participle
- Add XML diff, patch, and merge operations to etree
- Add streaming JSON iteration to HTTPX responses
- Validate daemon watch, status, and log lifecycle
- Add recursive schema composition to Valibot
- Add input key aliases to name mapping
- Add durability callbacks and wait APIs for sync writes
- Add duration encoding to TableVectorizer
- Add safe import checkpoints and invariant validation
- Add shorthand expansion and compression to the lexer
- Add RFC 5545 timezone interoperability to dateutil recurrence parsing
- Add atomic signal selectors to Kea
- Add consistent hash policy support to TrafficPolicy
- Fix PromQL label sorting across typed and untyped values
- Format CREATE TABLE DDL and add DDL parsing helpers
- Add trap coredump generation to wasmi
- Add hierarchical evaluation cancellation to Boa
- Add value-based query predicates to Koota
- Add request coalescing to `Runnable`
- Add explicit resource management declarations to the parser
- Add lazy recursive schemas with DTO and JSON Schema export
- Persist the fitted feature schema across evaluate, predict, serve, and export
- Add composite trait aspects to Koota
- Add tube multiplexing to pwntools
- Add scoped state data to state machine callbacks and history
- Add destructuring bindings to Tengo
- Add JSON Schema refs and dependency keywords
- Add link format conversion between wiki and markdown syntax
- Add implicit HEAD and automatic OPTIONS responses to FastAPI routes
- Add transparent encryption to dump uploads
- Add conditional option dependencies to Optique
- Preserve structure needed by stylesheet selectors
- Add policy-based alerting for failures, latency, and SSL expiry
- Add incremental cache controls to Bandit
- Coalesce qualifying choices into character classes
- Preserve ANSI resets during truncation and styling
- Add async autocomplete options and fetch lifecycle handling
- Add config file parsing to Cliffy commands
- Add HTML document format handling to Dasel
- Add CSS Grid layout to the Box component
- Add `\multicolumn` column spans to array-like environments
- Add a deferred mutation buffer to batch entity changes
- Add automatic table of contents generation for Obsidian linter
- Implement a deterministic IntersectionObserver in Happy DOM
- Add pair-level relation tracking modifiers
- Add error stack serialization to SuperJSON
- Complete Kitty keyboard phases and stable fallback key metadata
- Add structured nosec directives for regions and next line
- Add bail-on-test-failure handling to Testem
- Add try/catch error recovery to expr
- Add configurable array merge strategies to Helm value coalescing
- Implement recursive agent delegation through delegate_task tool calls
- Add SSE streaming endpoints to HttpApi
- Add transactional reload status and rollback tracking to Prometheus
- Add GraphQL incremental delivery with @defer and @stream
- Add dead-lettering, TTL, and overflow handling to virtual queues
- Reuse one toolbar across multiple Quill editors
- adaptive-rejection-sampler
- bn-fit-modify
- break-filter-js-from-html
- build-cython-ext
- build-pmars
- build-pov-ray
- caffe-cifar-10
- cancel-async-tasks
- chess-best-move
- circuit-fibsqrt
- cobol-modernization
- code-from-image
- compile-compcert
- configure-git-webserver
- constraints-scheduling
- count-dataset-tokens
- crack-7z-hash
- custom-memory-heap-crash
- db-wal-recovery
- distribution-search
- dna-assembly
- dna-insert
- extract-elf
- extract-moves-from-video
- feal-differential-cryptanalysis
- financial-document-processor
- fix-code-vulnerability
- fix-git
- fix-ocaml-gc
- gcode-to-text
- git-leak-recovery
- git-multibranch
- headless-terminal
- hf-model-inference
- install-windows-3.11
- kv-store-grpc
- large-scale-text-editing
- largest-eigenval
- llm-inference-batching-scheduler
- log-summary-date-ranges
- mailman
- make-mips-interpreter
- mcmc-sampling-stan
- merge-diff-arc-agi-task
- model-extraction-relu-logits
- modernize-scientific-stack
- mteb-leaderboard
- mteb-retrieve
- multi-source-data-merger
- nginx-request-logging
- openssl-selfsigned-cert
- overfull-hbox
- password-recovery
- path-tracing
- path-tracing-reverse
- polyglot-c-py
- polyglot-rust-c
- portfolio-optimization
- protein-assembly
- prove-plus-comm
- pypi-server
- pytorch-model-cli
- pytorch-model-recovery
- qemu-alpine-ssh
- qemu-startup
- query-optimize
- raman-fitting
- regex-chess
- regex-log
- reshard-c4-data
- rstan-to-pystan
- sam-cell-seg
- sanitize-git-repo
- schemelike-metacircular-eval
- sparql-university
- sqlite-db-truncate
- sqlite-with-gcov
- torch-pipeline-parallelism
- torch-tensor-parallelism
- train-fasttext
- tune-mjcf
- video-processing
- vulnerable-secret
- winning-avg-corewars
- 6905333b74f22949d97ba998
- 6905333b74f22949d97ba999
- 6905333b74f22949d97ba99a
- 6905333b74f22949d97ba99b
- 6905333b74f22949d97ba99d
- 6905333b74f22949d97ba99f
- 6905333b74f22949d97ba9a2
- 6905333b74f22949d97ba9a3
- 6905333b74f22949d97ba9a4
- 6905333b74f22949d97ba9a5
- 6905333b74f22949d97ba9a6
- 6905333b74f22949d97ba9a7
- 6905333b74f22949d97ba9a8
- 6905333b74f22949d97ba9a9
- 6905333b74f22949d97ba9aa
- 6905333b74f22949d97ba9ab
- 6905333b74f22949d97ba9ac
- 6905333b74f22949d97ba9ad
- 6905333b74f22949d97ba9ae
- 6905333b74f22949d97ba9af
- 6905333b74f22949d97ba9b1
- 6905333b74f22949d97ba9b2
- 6905333b74f22949d97ba9b3
- 6905333b74f22949d97ba9b5
- 6905333b74f22949d97ba9b6
- 6905333b74f22949d97ba9b7
- 6905333b74f22949d97ba9b8
- 6905333b74f22949d97ba9ba
- 6905333b74f22949d97ba9bb
- 6905333b74f22949d97ba9bc
- 6905333b74f22949d97ba9bd
- 6905333b74f22949d97ba9be
- 6905333b74f22949d97ba9bf
- 6905333b74f22949d97ba9c0
- 6905333b74f22949d97ba9c1
- 6905333b74f22949d97ba9c2
- 6905333b74f22949d97ba9c3
- 6905333b74f22949d97ba9c4
- 6905333b74f22949d97ba9c5
- 6905333b74f22949d97ba9c6
- 6905333b74f22949d97ba9c8
- 6905333b74f22949d97ba9c9
- 6905333b74f22949d97ba9ca
- 6905333b74f22949d97ba9cb
- 6905333b74f22949d97ba9cc
- 6905333b74f22949d97ba9cd
- 6905333b74f22949d97ba9ce
- 6905333b74f22949d97ba9cf
- 6905333b74f22949d97ba9d0
- 6905333b74f22949d97ba9d1
- 6905333b74f22949d97ba9d2
- 6905333b74f22949d97ba9d3
- 6905333b74f22949d97ba9d4
- 6905333b74f22949d97ba9d5
- 6905333b74f22949d97ba9d6
- 6905333b74f22949d97ba9d7
- 6905333b74f22949d97ba9d8
- 6905333b74f22949d97ba9d9
- 6905333b74f22949d97ba9db
- 6905333b74f22949d97ba9dc
- 6905333b74f22949d97ba9dd
- 6905333b74f22949d97ba9de
- 6905333b74f22949d97ba9e0
- 6905333b74f22949d97ba9e1
- 6905333b74f22949d97ba9e3
- 6905333b74f22949d97ba9e4
- 6905333b74f22949d97ba9e5
- 6905333b74f22949d97ba9e7
- 6905333b74f22949d97ba9e8
- 6905333b74f22949d97ba9e9
- 6905333b74f22949d97ba9eb
- 6905333b74f22949d97ba9ee
- 6905333b74f22949d97ba9f0
- 6905333b74f22949d97ba9f1
- 6905333b74f22949d97ba9f2
- 6905333b74f22949d97ba9f4
- 6905333b74f22949d97ba9f5
- 6905333b74f22949d97ba9f7
- 6905333b74f22949d97ba9f8
- 6905333b74f22949d97ba9f9
- 6905333b74f22949d97ba9fa
- 6905333b74f22949d97ba9fb
- 6905333b74f22949d97ba9fc
- 6905333b74f22949d97ba9fd
- 6905333b74f22949d97ba9ff
- 6905333b74f22949d97baa01
- 6905333b74f22949d97baa02
- 6905333b74f22949d97baa03
- 6905333b74f22949d97baa04
- 6905333b74f22949d97baa05
- 6905333b74f22949d97baa06
- 6905333b74f22949d97baa07
- 6905333b74f22949d97baa09
- 6905333b74f22949d97baa0b
- 6905333b74f22949d97baa0c
- 6905333b74f22949d97baa0d
- 6905333b74f22949d97baa0f
- 6905333b74f22949d97baa10
- 6905333b74f22949d97baa11
- 6905333b74f22949d97baa12
- 6905333b74f22949d97baa14
- 6905333b74f22949d97baa15
- 6905333b74f22949d97baa16
- 6905333b74f22949d97baa17
- 6905333b74f22949d97baa19
- 6905333b74f22949d97baa1a
- 6905333b74f22949d97baa1b
- 6905333b74f22949d97baa1c
- 6905333b74f22949d97baa1d
- 6905333b74f22949d97baa1e
- 6905333b74f22949d97baa1f
- 6905333b74f22949d97baa20
- 6905333b74f22949d97baa21
- 6905333b74f22949d97baa22
- 6905333b74f22949d97baa23
- 6905333b74f22949d97baa24
- 6905333b74f22949d97baa25
- 6905333b74f22949d97baa26
- 6905333b74f22949d97baa27
- 6905333b74f22949d97baa28
- 6905333b74f22949d97baa2a
- 6905333b74f22949d97baa2b
- 6905333b74f22949d97baa2c
- 6905333b74f22949d97baa2d
Qué agrega el índice
Para cada variante de agente, Artificial Analysis calcula una puntuación pass@1 para cada componente de evaluación incluido y luego agrega esas puntuaciones de componentes en el índice público.
La misma suite de evaluaciones también sustenta las métricas públicas de eficiencia agrupadas en la página del benchmark, incluyendo costo de ejecución, uso de tokens y tiempo de ejecución. Esto significa que las vistas de rendimiento y eficiencia están alineadas con la misma cobertura de evaluación subyacente, en lugar de extraerse de ejecuciones no relacionadas.
Puntuación y resultados
Resultados pass@1
Cada intento evaluado recibe un resultado pass@1 del evaluador del benchmark. SWE-Atlas-QnA usa una puntuación binaria pass/fail alineada con la metodología Task Resolve Rate de Scale AI: los intentos aprobados reciben una puntuación de 1 y los intentos fallidos o con error, de 0.
| Término | Definición |
|---|---|
| pass@1 binario | Resultado de una evaluación con test suite en el que una tarea recibe 1 por pass o 0 por fail. |
Puntuaciones por evaluación
Para cada evaluación, Artificial Analysis primero promedia los tres intentos evaluados de cada tarea y luego promedia esas puntuaciones pass@1 por tarea para que todas las tareas tengan el mismo peso.
Métricas de eficiencia
El costo, el uso de tokens y el tiempo de ejecución se reportan como medias agrupadas por intento de tarea en la suite pública actual de evaluaciones de agentes de programación.
- Costo de ejecución: costo promedio de API de pago por token por tarea, basado en precios de tokens del proveedor en lugar de planes de consumidor.
- Uso de tokens: tokens promedio de entrada, caché, escritura en caché, razonamiento y salida por tarea.
- Tiempo de ejecución: tiempo real transcurrido promedio por tarea, incluyendo el tiempo completo de la tarea y el subconjunto de tiempo del agente cuando está disponible.
Cuando falta telemetría para una métrica determinada, esos valores faltantes se excluyen del promedio correspondiente en lugar de tratarse como cero.
En la métrica de costo, la entrada en caché se trata por separado de la entrada fuera de caché cuando los precios del proveedor soportan esa distinción, y los cargos de escritura en caché se incluyen cuando los proveedores facturan la creación de estado de caché de prompt. Esto busca reflejar los precios de API de pago por token con más precisión que una estimación plana por token.
Configuración de agentes
Las filas públicas del benchmark representan variantes de agentes, no solo nombres de modelos. La configuración que puede cambiar el comportamiento se mantiene separada en los reportes.
Salvo que se especifique lo contrario, usamos la configuración de razonamiento por defecto de cada agente para que el benchmark refleje la experiencia de usuario por defecto.
La metodología de benchmarking puede evolucionar con el tiempo a medida que se añaden nuevas evaluaciones y variantes de agentes, pero las comparaciones públicas buscan reflejar variantes de agentes equivalentes dentro de la suite de benchmarks publicada.
Historial de versiones
Versión 1.3
julio de 2026—actual
- Se refinó la puntuación binaria pass/fail de SWE-Atlas-QnA para alinearla con la metodología Task Resolve Rate de Scale AI
Versión 1.2
julio de 2026
- Se cambió la puntuación de SWE-Atlas-QnA de recompensa por rúbrica a pass/fail binario, exigiendo que todos los criterios de la rúbrica se superen para que una tarea se considere correcta
Versión 1.1
junio de 2026—julio de 2026
- Se añadió DeepSWE (ingeniería de software de largo horizonte)
- Se eliminó SWE-Bench-Pro-Hard-AA del Coding Agent Index
Versión 1.0
mayo de 2026—junio de 2026
- Versión inicial con SWE-Bench-Pro-Hard-AA (generación de código), Terminal-Bench v2 (uso agéntico de terminal) y SWE-Atlas-QnA (preguntas y respuestas sobre repositorios)