Cloudflare

Clef-Omni: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Name: Artificial Analysis Decision Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Visitar Cloudflare

En comparación con otros modelos de decisión, Clef-Omni está en el extremo inferior en el Decision Index y tiene un precio especialmente elevado. También es más rápido que el promedio. El modelo admite entrada de texto e imagen y tiene una ventana de contexto de 64k tokens.

Clef-Omni obtiene 44 puntos en el Artificial Analysis Decision Index, lo que lo sitúa en el extremo inferior entre los modelos de decisión (mediana: 53).

Con 172 ms por tarea, Clef-Omni es más rápido que el promedio (mediana: 188 ms).

El precio de Clef-Omni es de 0,15 US$ por 1 M de tokens de entrada. En promedio, ejecutar Clef-Omni en el Decision Index cuesta $123 por 1 M de tareas (elevado; mediana: $32).

Creador	Cloudflare
Proveedor	Cloudflare
Modalidad de entrada	Admite: texto e imágenes
Ventana de contexto	64k
Precio de entrada	0,15 US$ por 1 millón de tokens

Puntuación

Artificial Analysis Decision Index

Weighted average of AA-Omniscience-Decision, HLE-MultiChoice, When2Call and WildGuardTest · Higher is better

Incluir modelos de lenguaje

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD) · Lower is better

Incluir modelos de lenguaje

Most attractive quadrant

Pareto line

Average cost per task at current token prices, multiplied by 1 million; for the index, the cost of one pass through all its evaluations divided by their combined tasks, multiplied by 1 million. Decision models are billed for input tokens only, and language models for input and output tokens.

Calibración

Artificial Analysis Decision Index: calibración

Precisión frente a la probabilidad que el modelo asignó a la respuesta elegida · Intervalos de 0.1 con al menos 20 respuestas · Cada benchmark ponderado por igual

La calibración para modelos de lenguaje llegará pronto.

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Median time per task over every task across all Artificial Analysis Decision Index evaluations · Lower is better

Incluir modelos de lenguaje

Median latency per task, in milliseconds; for the index, the median across the tasks of all its evaluations.

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better

Incluir modelos de lenguaje

Clef-Omni: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Resumen del modelo

Decision Index

Tiempo

Costo

Resumen comparativo

Especificaciones técnicas

Puntuación

Artificial Analysis Decision Index

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Decision Cost per 1M Tasks

Calibración

Artificial Analysis Decision Index: calibración

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Decision Time per Task

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Decision Cost per 1M Tasks