Tendências de IA da Artificial Analysis

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

A linha de cada laboratório mostra seu modelo disponível com a maior pontuação em cada momento, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Para cada modelo, mostramos a variante com a maior pontuação entre suas configurações de esforço. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o menor custo por tarefa do Intelligence Index alcançado ao longo do tempo entre todas as variantes de esforço que atingem ou superam seu limiar do Progress Index v1. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o menor preço de saída alcançado ao longo do tempo entre todas as variantes de esforço que atingem ou superam seu limiar do Progress Index v1. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o menor tempo por tarefa do Intelligence Index alcançado ao longo do tempo entre todas as variantes de esforço que atingem ou superam seu limiar do Progress Index v1. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra a maior velocidade de saída alcançada ao longo do tempo entre todas as variantes de esforço que atingem ou superam seu limiar do Progress Index v1. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

A linha de cada país mostra seu modelo disponível com a maior pontuação em cada momento, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

A linha de cada país mostra seu modelo de pesos abertos disponível com a maior pontuação em cada momento, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada linha mostra o modelo disponível com a maior pontuação em cada momento dentro de sua categoria de licença, usando a variante de maior pontuação entre as configurações de esforço de cada modelo. Leia a metodologia do Progress Index v1.

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Para cada modelo, mostramos a variante com a maior pontuação entre suas configurações de esforço. Leia a metodologia do Progress Index v1.