Decider v1.1 27B: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Name: Artificial Analysis Decision Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Visitar Perplexity

En comparación con otros modelos de decisión, Decider v1.1 27B está por debajo del promedio en el Decision Index, pero tiene un precio razonable. También es más rápido que el promedio. El modelo admite entrada de texto e imagen y tiene una ventana de contexto de 262k tokens.

Decider v1.1 27B obtiene 53 puntos en el Artificial Analysis Decision Index, lo que lo sitúa por debajo del promedio entre los modelos de decisión (mediana: 53).

Con 170 ms por tarea, Decider v1.1 27B es más rápido que el promedio (mediana: 188 ms).

El precio de Decider v1.1 27B es de 0,02 US$ por 1 M de tokens de entrada. En promedio, ejecutar Decider v1.1 27B en el Decision Index cuesta $17 por 1 M de tareas (moderado; mediana: $32).

Creador	Perplexity
Proveedor	Perplexity
Modalidad de entrada	Admite: texto e imágenes
Ventana de contexto	262k
Precio de entrada	0,02 US$ por 1 millón de tokens

Puntuación

Artificial Analysis Decision Index

Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better

Incluir modelos de lenguaje

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better

Incluir modelos de lenguaje

Most attractive quadrant

Pareto line

Average cost per task at current token prices, multiplied by 1 million; for the index, the cost of one pass through all its evaluations divided by their combined tasks, multiplied by 1 million. Decision models are billed for input tokens only, and language models for input and output tokens.

Calibración

Artificial Analysis Decision Index: calibración

Precisión frente a la probabilidad que el modelo asignó a la respuesta elegida · Intervalos de 0.1 con al menos 20 respuestas · Cada benchmark ponderado por igual

La calibración para modelos de lenguaje llegará pronto.

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better

Incluir modelos de lenguaje

Median latency per task, in milliseconds; for the index, the median across the tasks of all its evaluations.

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better

Incluir modelos de lenguaje

Decider v1.1 27B: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Resumen del modelo

Decision Index

Tiempo

Costo

Resumen comparativo

Especificaciones técnicas

Puntuación

Artificial Analysis Decision Index

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Decision Cost per 1M Tasks

Calibración

Artificial Analysis Decision Index: calibración

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Decision Time per Task

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Decision Cost per 1M Tasks