Artificial Analysis Decision Index
Cloudflare
Clef: lançamento, pontuação no Decision Index, desempenho e preço
Resumo do modelo
Em comparação com outros modelos de decisão, o Clef está na faixa inferior no Decision Index e tem preço especialmente alto. Também é especialmente lento. O modelo aceita entrada em texto e imagem e tem uma janela de contexto de 66k tokens.
O Clef alcança 49 pontos no Artificial Analysis Decision Index, ficando na faixa inferior entre os modelos de decisão (mediana: 53).
Com 309 ms por tarefa, o Clef é especialmente lento (mediana: 188 ms).
O preço do Clef é de US$ 0,24 por 1M de tokens de entrada. Em média, executar o Clef no Decision Index custa $199 por 1 milhão de tarefas (preço alto, mediana: $32).
| Criador | Cloudflare |
|---|---|
| Provedor | Cloudflare |
| Modalidade de entrada | Compatível com: texto e imagem |
| Janela de contexto | 66k |
| Preço de entrada | US$ 0,24 por 1 milhão de tokens |
Pontuação
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibração
Artificial Analysis Decision Index: calibração
Acurácia em relação à probabilidade que o modelo atribuiu à resposta escolhida · Intervalos de 0,1 com pelo menos 20 respostas · Cada benchmark com o mesmo peso
A calibração para modelos de linguagem chegará em breve.
Tempo
Artificial Analysis Decision Index: tempo por tarefa
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Custo
Artificial Analysis Decision Index: custo por 1 milhão de tarefas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better