Decider v1.1 27B: lançamento, pontuação no Decision Index, desempenho e preço

Name: Artificial Analysis Decision Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Visitar Perplexity

Em comparação com outros modelos de decisão, o Decider v1.1 27B está abaixo da média no Decision Index, mas tem preço razoável. Também é mais rápido que a média. O modelo aceita entrada em texto e imagem e tem uma janela de contexto de 262k tokens.

O Decider v1.1 27B alcança 53 pontos no Artificial Analysis Decision Index, ficando abaixo da média entre os modelos de decisão (mediana: 53).

Com 170 ms por tarefa, o Decider v1.1 27B é mais rápido que a média (mediana: 188 ms).

O preço do Decider v1.1 27B é de US$ 0,02 por 1M de tokens de entrada. Em média, executar o Decider v1.1 27B no Decision Index custa $17 por 1 milhão de tarefas (preço moderado, mediana: $32).

Criador	Perplexity
Provedor	Perplexity
Modalidade de entrada	Compatível com: texto e imagem
Janela de contexto	262k
Preço de entrada	US$ 0,02 por 1 milhão de tokens

Pontuação

Artificial Analysis Decision Index

Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better

Incluir modelos de linguagem

Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas

Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better

Incluir modelos de linguagem

Most attractive quadrant

Pareto line

Average cost per task at current token prices, multiplied by 1 million; for the index, the cost of one pass through all its evaluations divided by their combined tasks, multiplied by 1 million. Decision models are billed for input tokens only, and language models for input and output tokens.

Calibração

Artificial Analysis Decision Index: calibração

Acurácia em relação à probabilidade que o modelo atribuiu à resposta escolhida · Intervalos de 0,1 com pelo menos 20 respostas · Cada benchmark com o mesmo peso

A calibração para modelos de linguagem chegará em breve.

Tempo

Artificial Analysis Decision Index: tempo por tarefa

Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better

Incluir modelos de linguagem

Median latency per task, in milliseconds; for the index, the median across the tasks of all its evaluations.

Custo

Artificial Analysis Decision Index: custo por 1 milhão de tarefas

Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better

Incluir modelos de linguagem

Decider v1.1 27B: lançamento, pontuação no Decision Index, desempenho e preço

Resumo do modelo

Decision Index

Tempo

Custo

Resumo da comparação

Especificações técnicas

Pontuação

Artificial Analysis Decision Index

Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas

Decision Cost per 1M Tasks

Calibração

Artificial Analysis Decision Index: calibração

Tempo

Artificial Analysis Decision Index: tempo por tarefa

Decision Time per Task

Custo

Artificial Analysis Decision Index: custo por 1 milhão de tarefas

Decision Cost per 1M Tasks