Comparação de modelos de pesos abertos

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o modelo disponível com a maior pontuação em cada momento dentro de sua categoria de licença, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

A linha de cada laboratório mostra seu modelo de pesos abertos disponível com a maior pontuação em cada momento, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o modelo de pesos abertos disponível com a maior pontuação em cada momento dentro de sua categoria de tamanho, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.