Metodologia do Coding Agent Index

Visão geral

A Artificial Analysis avalia agentes de programação em tarefas completas de engenharia de software. O objetivo é medir a capacidade dos agentes de concluir trabalhos realistas de programação e como seu desempenho varia em termos de resultado, confiabilidade, uso de tokens, custo e tempo de execução.

Os resultados públicos na página do Coding Agent Index são construídos com base nas tentativas de cada tarefa do benchmark e agregados em pontuações por avaliação, métricas combinadas de eficiência e no Artificial Analysis Coding Agent Index.

Esta página se concentra na construção do Artificial Analysis Coding Agent Index público, nos componentes de benchmark incluídos atualmente e na forma como são calculadas as métricas públicas de pass@1, custo, uso de tokens e tempo de execução.

Artificial Analysis Coding Agent Index

O Artificial Analysis Coding Agent Index público atual é uma pontuação composta de benchmark, construída com base nos componentes configurados na suíte pública de agentes de programação.

O objetivo do índice não é reduzir todo o trabalho de programação a um único tipo de tarefa de benchmark. Diferentes agentes de programação podem apresentar desempenhos muito distintos em perguntas e respostas sobre repositórios, tarefas de implementação e correção de bugs e fluxos de trabalho com uso intenso do terminal. O índice resume essas diferentes famílias de benchmarks em uma visão geral do desempenho, preservando o detalhamento por benchmark.

Pontuação e resultados

Métricas de eficiência

O custo, o uso de tokens e o tempo de execução são informados como médias combinadas por tentativa de tarefa em toda a suíte pública atual de benchmarks de agentes de programação.

• Custo de execução: custo médio da API com cobrança por token em cada tarefa, com base no preço dos tokens do provedor, e não em planos para consumidores.
• Uso de tokens: média de tokens de entrada, em cache, de escrita em cache, de raciocínio e de saída por tarefa.
• Tempo de execução: tempo médio decorrido por tarefa, incluindo o tempo total da tarefa e, quando disponível, o subconjunto correspondente ao tempo do agente.

Quando não há telemetria para uma determinada métrica, os valores ausentes são excluídos da média correspondente em vez de serem tratados como zero.

Na métrica de custo, a entrada em cache é tratada separadamente da entrada fora do cache quando o preço do provedor permite essa distinção. As cobranças de escrita em cache são incluídas quando os provedores cobram pela criação do estado do cache de prompts. O objetivo é refletir o preço das APIs com cobrança por token de maneira mais precisa do que uma estimativa fixa por token.

Configurações dos agentes

As linhas públicas do benchmark representam variantes de agentes, e não apenas nomes de modelos. Configurações que podem alterar o comportamento são mantidas separadas nos resultados.

Salvo indicação em contrário, usamos as configurações padrão de raciocínio de cada agente para que o benchmark reflita a experiência padrão do usuário.

A metodologia de benchmarking pode evoluir com o tempo, à medida que novas avaliações e variantes de agentes são adicionadas, mas as comparações públicas buscam refletir variantes equivalentes de agentes dentro da suíte de benchmarks publicada.

Histórico de versões