Elephant 9B: lançamento, pontuação no Decision Index, desempenho e preço
Resumo do modelo
Em comparação com outros modelos de decisão, o Elephant 9B está entre os líderes no Decision Index e tem preço competitivo. Também é mais rápido que a média. O modelo aceita entrada em texto e tem uma janela de contexto de 16k tokens.
O Elephant 9B alcança 65 pontos no Artificial Analysis Decision Index, ficando bem acima da média entre os modelos de decisão (mediana: 53).
Com 165 ms por tarefa, o Elephant 9B é mais rápido que a média (mediana: 188 ms).
O preço do Elephant 9B é de US$ 0,01 por 1M de tokens de entrada. Em média, executar o Elephant 9B no Decision Index custa $8.4 por 1 milhão de tarefas (preço competitivo, mediana: $32).
| Criador | Baseten |
|---|---|
| Provedor | Baseten |
| Modalidade de entrada | Compatível com: texto |
| Janela de contexto | 16k |
| Preço de entrada | US$ 0,01 por 1 milhão de tokens |
Pontuação
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibração
Artificial Analysis Decision Index: calibração
Acurácia em relação à probabilidade que o modelo atribuiu à resposta escolhida · Intervalos de 0,1 com pelo menos 20 respostas · Cada benchmark com o mesmo peso
A calibração para modelos de linguagem chegará em breve.
Tempo
Artificial Analysis Decision Index: tempo por tarefa
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Custo
Artificial Analysis Decision Index: custo por 1 milhão de tarefas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better