Este modelo está obsoleto. Seguimos midiendo su rendimiento, pero con menos frecuencia: cada 18 horas en lugar de cada 6.
Meta lanzó una versión más reciente, Llama 3.3 Instruct 70B. Te sugerimos considerarla como alternativa.
Llama 3.1 Instruct 70B Benchmarks y análisis de proveedores de API
Este análisis está pensado para ayudarte a elegir el mejor proveedor de API de Llama 3.1 Instruct 70B para tu caso de uso.
Menor tiempo por tarea
Tiempo por tarea del Intelligence Index (minutos)
4 proveedores en total
Menor costo por tarea
Costo por tarea del Intelligence Index
4 proveedores en total
Llama 3.1 70B está disponible a través de 4 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
Precios
Costo por tarea del Intelligence Index: Llama 3.1 Instruct 70B
Precios: aciertos de caché, entrada y salida: Llama 3.1 Instruct 70B
Velocidad de salida vs. costo por tarea: Llama 3.1 Instruct 70B
Velocidad
Promedio de las cargas medidas de solicitud única y agénticas multiturno
Velocidad de salida: Llama 3.1 Instruct 70B
Latencia
Promedio de las cargas medidas de solicitud única y agénticas multiturno
Tiempo hasta el primer token de respuesta: Llama 3.1 Instruct 70B
Fiabilidad
Proporción de solicitudes que el endpoint no completó, en todas las cargas medidas de solicitud única y agénticas multiturno
Tasa de errores del endpoint: Llama 3.1 Instruct 70B
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Llama 3.1 Instruct 70B
Llama 3.1 Instruct 70B está disponible a través de 4 proveedores de API: Amazon Standard, DeepInfra, Amazon Latency Optimized y DeepInfra (Turbo, FP8). Cada proveedor ofrece distintas características de rendimiento y precios.
Llama 3.1 Instruct 70B está disponible actualmente a través de 4 proveedores de API que medimos y monitoreamos.
Los proveedores con el menor tiempo hasta el primer token de respuesta para Llama 3.1 Instruct 70B son DeepInfra (8.00s) y DeepInfra (Turbo, FP8) (8.99s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Llama 3.1 Instruct 70B por precio combinado son DeepInfra ($0.40 por 1M de tokens), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens) y Amazon Standard ($0.72 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de entrada), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de entrada) y Amazon Standard ($0.72 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de salida), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de salida) y Amazon Standard ($0.72 por 1M de tokens de salida).
Los precios de Llama 3.1 Instruct 70B varían hasta 2.2x entre proveedores. El más económico es DeepInfra a $0.40 por 1M de tokens, mientras que Amazon Latency Optimized cobra $0.90 por 1M de tokens.
2 de 4 proveedores admiten el modo JSON para Llama 3.1 Instruct 70B: DeepInfra y DeepInfra (Turbo, FP8).
Los 4 proveedores de Llama 3.1 Instruct 70B admiten llamadas a funciones (uso de herramientas).
Al elegir un proveedor para Llama 3.1 Instruct 70B, considera: tiempo por tarea (la rapidez con la que el proveedor completa una tarea del Intelligence Index), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Llama 3.1 Instruct 70B y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo