Artificial Analysis Decision Index
Cloudflare
Clef: lanzamiento, puntuación en el Decision Index, rendimiento y precio
Resumen del modelo
En comparación con otros modelos de decisión, Clef está en el extremo inferior en el Decision Index y tiene un precio especialmente elevado. También es notablemente lento. El modelo admite entrada de texto e imagen y tiene una ventana de contexto de 66k tokens.
Clef obtiene 49 puntos en el Artificial Analysis Decision Index, lo que lo sitúa en el extremo inferior entre los modelos de decisión (mediana: 53).
Con 309 ms por tarea, Clef es notablemente lento (mediana: 188 ms).
El precio de Clef es de 0,24 US$ por 1 M de tokens de entrada. En promedio, ejecutar Clef en el Decision Index cuesta $199 por 1 M de tareas (elevado; mediana: $32).
| Creador | Cloudflare |
|---|---|
| Proveedor | Cloudflare |
| Modalidad de entrada | Admite: texto e imágenes |
| Ventana de contexto | 66k |
| Precio de entrada | 0,24 US$ por 1 millón de tokens |
Puntuación
Artificial Analysis Decision Index
Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better
Artificial Analysis Decision Index vs. costo por 1 millón de tareas
Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better
Most attractive quadrant
Pareto line
Calibración
Artificial Analysis Decision Index: calibración
Precisión frente a la probabilidad que el modelo asignó a la respuesta elegida · Intervalos de 0.1 con al menos 20 respuestas · Cada benchmark ponderado por igual
La calibración para modelos de lenguaje llegará pronto.
Tiempo
Artificial Analysis Decision Index: tiempo por tarea
Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better
Costo
Artificial Analysis Decision Index: costo por 1 millón de tareas
Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better