Este modelo está obsoleto. Seguimos midiendo su rendimiento, pero con menos frecuencia: cada 18 horas en lugar de cada 6.
Meta lanzó una versión más reciente, Llama 3.2 Instruct 11B (Vision). Te sugerimos considerarla como alternativa.
Llama 3.1 Instruct 8B Benchmarks y análisis de proveedores de API
Este análisis está pensado para ayudarte a elegir el mejor proveedor de API de Llama 3.1 Instruct 8B para tu caso de uso.
Menor tiempo por tarea
Tiempo por tarea del Intelligence Index (minutos)
6 proveedores en total
Menor costo por tarea
Costo por tarea del Intelligence Index
6 proveedores en total
Llama 3.1 8B está disponible a través de 6 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
Precios
Costo por tarea del Intelligence Index: Llama 3.1 Instruct 8B
Precios: aciertos de caché, entrada y salida: Llama 3.1 Instruct 8B
Velocidad de salida vs. costo por tarea: Llama 3.1 Instruct 8B
Velocidad
Promedio de las cargas medidas de solicitud única y agénticas multiturno
Velocidad de salida: Llama 3.1 Instruct 8B
Latencia
Promedio de las cargas medidas de solicitud única y agénticas multiturno
Tiempo hasta el primer token de respuesta: Llama 3.1 Instruct 8B
Fiabilidad
Proporción de solicitudes que el endpoint no completó, en todas las cargas medidas de solicitud única y agénticas multiturno
Tasa de errores del endpoint: Llama 3.1 Instruct 8B
Caché
Tasa de aciertos de caché: Llama 3.1 Instruct 8B
Costo por tarea vs. Tasa de aciertos de caché: Llama 3.1 Instruct 8B
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Llama 3.1 Instruct 8B
Llama 3.1 Instruct 8B está disponible actualmente a través de 6 proveedores de API que medimos y monitoreamos.
Los proveedores más económicos para Llama 3.1 Instruct 8B por precio combinado son DeepInfra (Turbo, FP8) ($0.022 por 1M de tokens), Novita ($0.023 por 1M de tokens) y DeepInfra ($0.023 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Llama 3.1 Instruct 8B son Novita ($0.02 por 1M de tokens de entrada), DeepInfra (Turbo, FP8) ($0.02 por 1M de tokens de entrada) y DeepInfra ($0.02 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Llama 3.1 Instruct 8B son DeepInfra (Turbo, FP8) ($0.04 por 1M de tokens de salida), Novita ($0.05 por 1M de tokens de salida) y DeepInfra ($0.05 por 1M de tokens de salida).
Los precios de Llama 3.1 Instruct 8B varían hasta 10.0x entre proveedores. El más económico es DeepInfra (Turbo, FP8) a $0.022 por 1M de tokens, mientras que CoreWeave cobra $0.22 por 1M de tokens.
5 de 6 proveedores admiten el modo JSON para Llama 3.1 Instruct 8B: Groq, Novita, CoreWeave, DeepInfra (Turbo, FP8) y DeepInfra.
5 de 6 proveedores admiten llamadas a funciones para Llama 3.1 Instruct 8B: Groq, CoreWeave, Amazon, DeepInfra (Turbo, FP8) y DeepInfra.
Al elegir un proveedor para Llama 3.1 Instruct 8B, considera: tiempo por tarea (la rapidez con la que el proveedor completa una tarea del Intelligence Index), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Llama 3.1 Instruct 8B y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo