Tendencias de IA de Artificial Analysis

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

La línea de cada laboratorio muestra su modelo disponible con la puntuación más alta en cada momento, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Para cada modelo, mostramos la variante con la puntuación más alta entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el menor costo por tarea del Intelligence Index alcanzado a lo largo del tiempo entre todas las variantes de esfuerzo que alcanzan o superan su umbral del Progress Index v1. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el menor precio de salida alcanzado a lo largo del tiempo entre todas las variantes de esfuerzo que alcanzan o superan su umbral del Progress Index v1. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el menor tiempo por tarea del Intelligence Index alcanzado a lo largo del tiempo entre todas las variantes de esfuerzo que alcanzan o superan su umbral del Progress Index v1. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra la mayor velocidad de salida alcanzada a lo largo del tiempo entre todas las variantes de esfuerzo que alcanzan o superan su umbral del Progress Index v1. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

La línea de cada país muestra su modelo disponible con la puntuación más alta en cada momento, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

La línea de cada país muestra su modelo de pesos abiertos disponible con la puntuación más alta en cada momento, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Cada línea muestra el modelo disponible con la puntuación más alta en cada momento dentro de su categoría de licencia, usando la variante de cada modelo con la mayor puntuación entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.

Calculamos el Artificial Analysis Progress Index v1 con la teoría de respuesta al ítem, que estima conjuntamente la capacidad de los modelos y la dificultad de las tareas a partir de nuestros resultados de benchmarks. Esto nos permite comparar a lo largo del tiempo modelos evaluados en distintos benchmarks.

Estimamos la dificultad de cada tarea a partir de qué modelos la resuelven o fallan, al mismo tiempo que estimamos la capacidad de cada modelo a partir de sus resultados en distintas tareas.

Por ejemplo, un modelo más antiguo podría haber sido evaluado en benchmarks más fáciles y uno más reciente en benchmarks más difíciles. Los modelos evaluados en ambos conjuntos nos ayudan a estimar la diferencia de dificultad y a comparar los modelos antiguos y recientes en la misma escala.

Para cada modelo, mostramos la variante con la puntuación más alta entre sus configuraciones de esfuerzo. Consulta la metodología del Progress Index v1.