Comparación de modelos con pesos abiertos

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el modelo disponible con la puntuación más alta en cada momento dentro de su categoría de licencia, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

La línea de cada laboratorio muestra su modelo de pesos abiertos disponible con la puntuación más alta en cada momento, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el modelo de pesos abiertos disponible con la puntuación más alta en cada momento dentro de su categoría de tamaño, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.