Artificial Analysis Progress Index v1

El Artificial Analysis Progress Index v1 es una escala única de capacidad para los modelos de lenguaje desde 2022. Utiliza la teoría de respuesta al ítem, un método estadístico que se usa para calificar exámenes estandarizados, para estimar una puntuación de capacidad general para cada modelo a partir de nuestros resultados de evaluación, incluidas evaluaciones que se retiraron o que nunca formaron parte del Intelligence Index.

El Intelligence Index usa las evaluaciones más relevantes para los desarrolladores hoy, por lo que su combinación cambia a medida que se agregan y retiran evaluaciones, y las puntuaciones de distintas versiones no se pueden comparar. Usa el Intelligence Index para elegir un modelo hoy y el Progress Index v1 para ver cómo ha cambiado la capacidad con el tiempo.

El Progress Index v1 se basa en trabajos previos que ubican a los modelos en una sola escala de capacidad, en particular el Epoch Capabilities Index de Epoch AI y la escala de capacidad que Anthropic publicó en la system card de Claude Mythos Preview.

Metodología

Frontera por laboratorio

Artificial Analysis Progress Index v1 a lo largo del tiempo

Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown

Nov 2022Oct 2026

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

La línea de cada laboratorio muestra su modelo disponible con la puntuación más alta en cada momento, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Artificial Analysis Progress Index v1

Frontera por laboratorio

Artificial Analysis Progress Index v1 a lo largo del tiempo

Cómo se calcula el Progress Index v1