Jev 1.13: lanzamiento, puntuación en el Decision Index, rendimiento y precio
Resumen del modelo
En comparación con otros modelos de decisión, Jev 1.13 está por encima del promedio en el Decision Index, pero tiene un precio algo elevado. También es notablemente rápido. El modelo admite entrada de texto y tiene una ventana de contexto de 64k tokens.
Jev 1.13 obtiene 58 puntos en el Artificial Analysis Decision Index, lo que lo sitúa por encima del promedio entre los modelos de decisión (mediana: 53).
Con 127 ms por tarea, Jev 1.13 es notablemente rápido (mediana: 188 ms).
El precio de Jev 1.13 es de 0,042 US$ por 1 M de tokens de entrada. En promedio, ejecutar Jev 1.13 en el Decision Index cuesta $42 por 1 M de tareas (algo elevado; mediana: $32).
| Creador | TypeSafe |
|---|---|
| Proveedor | TypeSafe |
| Modalidad de entrada | Admite: texto |
| Ventana de contexto | 64k |
| Precio de entrada | 0,042 US$ por 1 millón de tokens |
Puntuación
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. costo por 1 millón de tareas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibración
Artificial Analysis Decision Index: calibración
Precisión frente a la probabilidad que el modelo asignó a la respuesta elegida · Intervalos de 0.1 con al menos 20 respuestas · Cada benchmark ponderado por igual
La calibración para modelos de lenguaje llegará pronto.
Tiempo
Artificial Analysis Decision Index: tiempo por tarea
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Costo
Artificial Analysis Decision Index: costo por 1 millón de tareas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better