Mercury Decide: lançamento, pontuação no Decision Index, desempenho e preço
Resumo do modelo
Em comparação com outros modelos de decisão, o Mercury Decide está abaixo da média no Decision Index, mas tem preço competitivo. Também é especialmente lento. O modelo aceita entrada em texto e imagem e tem uma janela de contexto de 66k tokens.
O Mercury Decide alcança 53 pontos no Artificial Analysis Decision Index, ficando abaixo da média entre os modelos de decisão (mediana: 53).
Com 500 ms por tarefa, o Mercury Decide é especialmente lento (mediana: 188 ms).
O preço do Mercury Decide é de US$ 0,02 por 1M de tokens de entrada. Em média, executar o Mercury Decide no Decision Index custa $15 por 1 milhão de tarefas (preço competitivo, mediana: $32).
| Criador | Inception |
|---|---|
| Provedor | Inception |
| Modalidade de entrada | Compatível com: texto e imagem |
| Janela de contexto | 66k |
| Preço de entrada | US$ 0,02 por 1 milhão de tokens |
Pontuação
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. custo por 1 milhão de tarefas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibração
Artificial Analysis Decision Index: calibração
Acurácia em relação à probabilidade que o modelo atribuiu à resposta escolhida · Intervalos de 0,1 com pelo menos 20 respostas · Cada benchmark com o mesmo peso
A calibração para modelos de linguagem chegará em breve.
Tempo
Artificial Analysis Decision Index: tempo por tarefa
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Custo
Artificial Analysis Decision Index: custo por 1 milhão de tarefas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better