Este modelo está obsoleto. Solo seguimos midiendo su rendimiento con la carga predeterminada de 10 mil tokens de entrada. Los resultados de otras cargas son históricos y ya no se actualizan.
Meta lanzó una versión más reciente, Llama 3.3 Instruct 70B. Te sugerimos considerarla como alternativa.
Llama 3.1 Instruct 70B Benchmarks y análisis de proveedores de API
Este análisis está pensado para ayudarte a elegir el mejor proveedor de API de Llama 3.1 Instruct 70B para tu caso de uso.
Más rápido
DeepInfraDeepInfra (Turbo, FP8)Velocidad de salida
4 proveedores en total
Menor latencia
DeepInfraDeepInfra (Turbo, FP8)Tiempo hasta el primer token
4 proveedores en total
Menor precio
DeepInfraDeepInfra (Turbo, FP8)
Amazon StandardAmazon Latency OptimizedPrecio combinado (por 1M de tokens)
4 proveedores en total
Llama 3.1 70B está disponible a través de 4 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son DeepInfra (34.1 t/s) y DeepInfra (Turbo, FP8) (33.9 t/s).
- En latencia, DeepInfra (2.00s) y DeepInfra (Turbo, FP8) (2.02s) ofrecen el menor tiempo hasta el primer token.
- En precios, DeepInfra (0.40), DeepInfra (Turbo, FP8) (0.40) y Amazon Standard (0.72) ofrecen los menores precios combinados por 1M de tokens. Los precios varían hasta 2.2x entre proveedores.
- DeepInfra destaca como el líder general, al ubicarse primero en las tres categorías: velocidad, latencia y precios.
Precios
Precios: aciertos de caché, entrada y salida
Costo por tarea del Intelligence Index
Velocidad de salida vs. precio
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Velocidad de salida: Llama 3.1 Instruct 70B
Tiempo por tarea del Intelligence Index
Costo por tarea vs. tiempo por tarea
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Llama 3.1 Instruct 70B
Llama 3.1 Instruct 70B está disponible a través de 4 proveedores de API: Amazon Standard, DeepInfra, Amazon Latency Optimized y DeepInfra (Turbo, FP8). Cada proveedor ofrece distintas características de rendimiento y precios.
Llama 3.1 Instruct 70B está disponible actualmente a través de 4 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Llama 3.1 Instruct 70B por velocidad de salida son DeepInfra (34.1 t/s) y DeepInfra (Turbo, FP8) (33.9 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token para Llama 3.1 Instruct 70B son DeepInfra (2.00s) y DeepInfra (Turbo, FP8) (2.02s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Llama 3.1 Instruct 70B por precio combinado son DeepInfra ($0.40 por 1M de tokens), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens) y Amazon Standard ($0.72 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de entrada), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de entrada) y Amazon Standard ($0.72 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Llama 3.1 Instruct 70B son DeepInfra ($0.40 por 1M de tokens de salida), DeepInfra (Turbo, FP8) ($0.40 por 1M de tokens de salida) y Amazon Standard ($0.72 por 1M de tokens de salida).
Los precios de Llama 3.1 Instruct 70B varían hasta 2.2x entre proveedores. El más económico es DeepInfra a $0.40 por 1M de tokens, mientras que Amazon Latency Optimized cobra $0.90 por 1M de tokens.
2 de 4 proveedores admiten el modo JSON para Llama 3.1 Instruct 70B: DeepInfra y DeepInfra (Turbo, FP8).
Los 4 proveedores de Llama 3.1 Instruct 70B admiten llamadas a funciones (uso de herramientas).
DeepInfra lidera en todas las métricas clave para Llama 3.1 Instruct 70B, con la mayor velocidad, la menor latencia y los precios más competitivos.
Al elegir un proveedor para Llama 3.1 Instruct 70B, considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Llama 3.1 Instruct 70B y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo