Artificial Analysis Progress Index v1

O Artificial Analysis Progress Index v1 é uma escala única de capacidade para modelos de linguagem desde 2022. Ele usa a teoria de resposta ao item, um método estatístico usado para pontuar testes padronizados, para estimar uma pontuação de capacidade geral para cada modelo a partir dos nossos resultados de avaliação, incluindo avaliações que foram retiradas ou que nunca fizeram parte do Intelligence Index.

O Intelligence Index usa as avaliações mais relevantes para os desenvolvedores hoje, então sua composição muda conforme avaliações são adicionadas e retiradas, e as pontuações de versões diferentes não podem ser comparadas. Use o Intelligence Index para escolher um modelo hoje e o Progress Index v1 para ver como a capacidade mudou ao longo do tempo.

O Progress Index v1 se baseia em trabalhos anteriores que colocam os modelos em uma única escala de capacidade, em especial o Epoch Capabilities Index da Epoch AI e a escala de capacidade que a Anthropic publicou no system card do Claude Mythos Preview.

Metodologia

Fronteira por laboratório

Artificial Analysis Progress Index v1 ao longo do tempo

Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown

Nov 2022Oct 2026

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

A linha de cada laboratório mostra seu modelo disponível com a maior pontuação em cada momento, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Artificial Analysis Progress Index v1

Fronteira por laboratório

Artificial Analysis Progress Index v1 ao longo do tempo

Como o Progress Index v1 é calculado