Llama 3.3 Instruct 70B Benchmarks y análisis de proveedores de API
Análisis de proveedores de API para Llama 3.3 Instruct 70B en métricas de rendimiento como latencia (tiempo hasta el primer token), velocidad de salida (tokens de salida por segundo), precio y otras. Los proveedores de API medidos incluyen Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Microsoft Azure, DeepInfra (Turbo, FP8), Cloudflare, Amazon Bedrock y Scaleway.
Más rápido
Groq
SambaNova
Google Vertex
Amazon
AzureVelocidad de salida
14 proveedores en total
Menor latencia
Google VertexGroq
CoreWeaveAmazon
ScalewayTiempo hasta el primer token
14 proveedores en total
Menor precio
DeepInfra (Turbo, FP8)
Nebius Base
Novita
Parasail (FP8)
CloudflarePrecio combinado (por 1M de tokens)
14 proveedores en total
Llama 3.3 70B está disponible a través de 14 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son Groq (312.0 t/s), SambaNova (288.1 t/s) y Google Vertex (149.0 t/s). La velocidad varía significativamente entre proveedores, con una diferencia del 2034% entre el más rápido y el más lento.
- En latencia, Google Vertex (0.64s), Groq (0.86s) y CoreWeave (0.90s) ofrecen el menor tiempo hasta el primer token.
- En precios, DeepInfra (Turbo, FP8) (0.12), Nebius Base (0.16) y Novita (0.16) ofrecen los menores precios combinados por 1M de tokens. Los precios varían hasta 8.6x entre proveedores.
Aspectos destacados
Actualización: La carga de trabajo predeterminada de medición de rendimiento se actualizó a 10k tokens de entrada para reflejar mejor los casos de uso en producción. Aún puedes seleccionar distintas cargas de trabajo arriba.
Precios
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Output Speed: Llama 3.3 Instruct 70B
Latency vs. Output Speed
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
 Fireworks | 131k | Abierto | -- | -- | -- | -- | -- | ||
| Google | 128k | Abierto | -- | 150 | 0.65 | 3.97 | -- | ||
| Groq | 131k | Abierto | -- | 312 | 0.87 | 2.47 | -- | ||
| Novita | 131k | Abierto | -- | 43 | 1.71 | 13.44 | -- | ||
| Parasail | 131k | Abierto | -- | 47 | 3.01 | 13.56 | -- | ||
| SambaNova | 128k | Abierto | -- | 289 | 1.87 | 3.60 | -- | ||
| Nebius | 128k | Abierto | -- | 18 | 5.90 | 33.06 | -- | ||
| CoreWeave | 128k | Abierto | -- | 79 | 0.90 | 7.25 | -- | ||
 Together AI | 131k | Abierto | -- | 72 | 1.40 | 8.35 | -- | ||
| Microsoft Azure | 128k | Abierto | -- | 119 | 2.15 | 6.35 | -- | ||
| DeepInfra | 131k | Abierto | -- | 17 | 2.40 | 31.21 | -- | ||
| Cloudflare | 24k | Abierto | -- | -- | -- | -- | -- | ||
| Amazon Bedrock | 128k | Abierto | -- | 124 | 1.10 | 5.12 | -- | ||
| Scaleway | 100k | Abierto | -- | 83 | 1.37 | 7.37 | -- | ||
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Llama 3.3 Instruct 70B
Llama 3.3 Instruct 70B está disponible a través de 14 proveedores de API: Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Azure, DeepInfra (Turbo, FP8), Cloudflare, Amazon y Scaleway. Cada proveedor ofrece distintas características de rendimiento y precios.
Llama 3.3 Instruct 70B está disponible actualmente a través de 14 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Llama 3.3 Instruct 70B por velocidad de salida son Groq (312.0 t/s), SambaNova (288.1 t/s) y Google Vertex (149.0 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token para Llama 3.3 Instruct 70B son Google Vertex (0.64s), Groq (0.86s) y CoreWeave (0.90s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Llama 3.3 Instruct 70B por precio combinado son DeepInfra (Turbo, FP8) ($0.12 por 1M de tokens), Nebius Base ($0.16 por 1M de tokens) y Novita ($0.16 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Llama 3.3 Instruct 70B son DeepInfra (Turbo, FP8) ($0.10 por 1M de tokens de entrada), Nebius Base ($0.13 por 1M de tokens de entrada) y Novita ($0.14 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Llama 3.3 Instruct 70B son DeepInfra (Turbo, FP8) ($0.32 por 1M de tokens de salida), Novita ($0.40 por 1M de tokens de salida) y Nebius Base ($0.40 por 1M de tokens de salida).
Los precios de Llama 3.3 Instruct 70B varían hasta 8.6x entre proveedores. El más económico es DeepInfra (Turbo, FP8) a $0.12 por 1M de tokens, mientras que Scaleway cobra $1.05 por 1M de tokens.
La velocidad de salida de Llama 3.3 Instruct 70B varía significativamente entre proveedores. Groq es el más rápido a 312.0 t/s, lo que es 21.3x más rápido que DeepInfra (Turbo, FP8) a 14.6 t/s.
13 de 14 proveedores admiten el modo JSON para Llama 3.3 Instruct 70B: Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Azure, DeepInfra (Turbo, FP8), Cloudflare y Scaleway.
Los 14 proveedores de Llama 3.3 Instruct 70B admiten llamadas a funciones (uso de herramientas).
El mejor proveedor para Llama 3.3 Instruct 70B depende de tus prioridades: Groq ofrece la mayor velocidad de salida, Google Vertex tiene la menor latencia y DeepInfra (Turbo, FP8) ofrece los precios más competitivos.
Al elegir un proveedor para Llama 3.3 Instruct 70B, considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Llama 3.3 Instruct 70B y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo