Jev 1.13: lançamento, pontuação no Decision Index, desempenho e preço
Resumo do modelo
Em comparação com outros modelos de decisão, o Jev 1.13 está acima da média no Decision Index, mas tem preço um pouco alto. Também é especialmente rápido. O modelo aceita entrada em texto e tem uma janela de contexto de 64k tokens.
O Jev 1.13 alcança 58 pontos no Artificial Analysis Decision Index, ficando acima da média entre os modelos de decisão (mediana: 53).
Com 127 ms por tarefa, o Jev 1.13 é especialmente rápido (mediana: 188 ms).
O preço do Jev 1.13 é de US$ 0,042 por 1M de tokens de entrada. Em média, executar o Jev 1.13 no Decision Index custa $42 por 1 milhão de tarefas (preço um pouco alto, mediana: $32).
| Criador | TypeSafe |
|---|---|
| Provedor | TypeSafe |
| Modalidade de entrada | Compatível com: texto |
| Janela de contexto | 64k |
| Preço de entrada | US$ 0,042 por 1 milhão de tokens |
Pontuação
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibração
Artificial Analysis Decision Index: calibração
Acurácia em relação à probabilidade que o modelo atribuiu à resposta escolhida · Intervalos de 0,1 com pelo menos 20 respostas · Cada benchmark com o mesmo peso
A calibração para modelos de linguagem chegará em breve.
Tempo
Artificial Analysis Decision Index: tempo por tarefa
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Custo
Artificial Analysis Decision Index: custo por 1 milhão de tarefas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better