This model is deprecated. We only continue performance benchmarking for the default 10k input token workload. Results for other workloads are historical and no longer updated.
Meta has launched a newer release, Llama 3.3 Instruct 70B. We suggest considering it instead.
Llama 3.1 Instruct 70B Benchmarks y análisis de proveedores de API
Este análisis está pensado para ayudarte a elegir el mejor proveedor de API de Llama 3.1 Instruct 70B para tu caso de uso.
Más rápido
Amazon Latency OptimizedAmazon Standard
DeepInfra (Turbo, FP8)DeepInfraVelocidad de salida
4 proveedores en total
Menor latencia
Amazon Latency OptimizedAmazon StandardDeepInfra (Turbo, FP8)DeepInfraTiempo hasta el primer token
4 proveedores en total
Menor precio
DeepInfraDeepInfra (Turbo, FP8)Amazon StandardAmazon Latency OptimizedPrecio combinado (por 1M de tokens)
4 proveedores en total
Llama 3.1 70B está disponible a través de 4 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son Amazon Latency Optimized (116.8 t/s), Amazon Standard (95.2 t/s) y DeepInfra (Turbo, FP8) (40.0 t/s). La velocidad varía significativamente entre proveedores, con una diferencia del 198% entre el más rápido y el más lento.
- En latencia, Amazon Latency Optimized (1.25s), Amazon Standard (1.34s) y DeepInfra (Turbo, FP8) (1.89s) ofrecen el menor tiempo hasta el primer token.
- En precios, DeepInfra (0.40), DeepInfra (Turbo, FP8) (0.40) y Amazon Standard (0.72) ofrecen los menores precios combinados por 1M de tokens. Los precios varían hasta 2.2x entre proveedores.
- Amazon Latency Optimized ofrece el mejor rendimiento, con la mayor velocidad y la menor latencia. Para optimizar costos, DeepInfra ofrece los precios más competitivos.
Aspectos destacados
Precios
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Output Speed vs. Price
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Output Speed: Llama 3.1 Instruct 70B
Latency vs. Output Speed
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Llama 3.1 Instruct 70B
Llama 3.1 Instruct 70B está disponible a través de 4 proveedores de API: Amazon Standard, DeepInfra, Amazon Latency Optimized y DeepInfra (Turbo, FP8). Cada proveedor ofrece distintas características de rendimiento y precios.
Llama 3.1 Instruct 70B está disponible actualmente a través de 4 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Llama 3.1 Instruct 70B por velocidad de salida son Amazon Latency Optimized (116.8 t/s), Amazon Standard (95.2 t/s) y DeepInfra (Turbo, FP8) (40.0 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token para Llama 3.1 Instruct 70B son Amazon Latency Optimized (1.25s), Amazon Standard (1.34s) y DeepInfra (Turbo, FP8) (1.89s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Llama 3.1 Instruct 70B por precio combinado son DeepInfra ($0.40 por 1M de tokens), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens) y Amazon Standard ($0.72 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de entrada), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de entrada) y Amazon Standard ($0.72 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de salida), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de salida) y Amazon Standard ($0.72 por 1M de tokens de salida).
Los precios de Llama 3.1 Instruct 70B varían hasta 2.2x entre proveedores. El más económico es DeepInfra a $0.40 por 1M de tokens, mientras que Amazon Latency Optimized cobra $0.90 por 1M de tokens.
La velocidad de salida de Llama 3.1 Instruct 70B varía significativamente entre proveedores. Amazon Latency Optimized es el más rápido a 116.8 t/s, lo que es 3.0x más rápido que DeepInfra a 39.2 t/s.
2 de 4 proveedores admiten el modo JSON para Llama 3.1 Instruct 70B: DeepInfra y DeepInfra (Turbo, FP8).
Los 4 proveedores de Llama 3.1 Instruct 70B admiten llamadas a funciones (uso de herramientas).
Para Llama 3.1 Instruct 70B, Amazon Latency Optimized ofrece el mejor rendimiento con la mayor velocidad y la menor latencia. Para optimizar costos, DeepInfra ofrece los precios más competitivos.
Al elegir un proveedor para Llama 3.1 Instruct 70B, considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Llama 3.1 Instruct 70B y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo