Llama 3.3 Instruct 70B Benchmarking e análise de provedores de API
Análise dos provedores de API do Llama 3.3 Instruct 70B em métricas de desempenho como latência (tempo até o primeiro token), velocidade de saída (tokens de saída por segundo), preço e outras. Os provedores de API avaliados incluem Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Microsoft Azure, DeepInfra (Turbo, FP8), Cloudflare, Amazon Bedrock, Databricks e Scaleway.
Mais rápido
Groq
SambaNova
Google Vertex
Amazon
AzureVelocidade de saída
15 provedores no total
Menor latência
Google Vertex
CoreWeaveGroqAmazon
DatabricksTempo até o primeiro token
15 provedores no total
Menor preço
DeepInfra (Turbo, FP8)
Nebius Base
Novita
Parasail (FP8)
CloudflarePreço combinado (por 1M de tokens)
15 provedores no total
Llama 3.3 70B está disponível em 15 provedores de API, cada um com características de desempenho e preços diferentes. Veja abaixo uma comparação das principais métricas entre os provedores.
- Em velocidade de saída, os principais provedores são Groq (299.2 t/s), SambaNova (291.5 t/s) e Google Vertex (118.5 t/s). A velocidade varia significativamente entre os provedores, com uma diferença de 2276% entre o mais rápido e o mais lento.
- Em latência, Google Vertex (0.71s), CoreWeave (0.90s) e Groq (0.96s) têm o menor tempo até o primeiro token.
- Em preço, DeepInfra (Turbo, FP8) (0.12), Nebius Base (0.16) e Novita (0.16) têm os menores preços combinados por 1M de tokens. Os preços variam em até 8.6x entre os provedores.
Destaques
Atualização: A carga de trabalho padrão do benchmarking de desempenho passou a usar 10k tokens de entrada para representar melhor os casos de uso em produção. Você ainda pode selecionar outras cargas de trabalho acima.
Preços
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidade
Medida pela velocidade de saída (tokens por segundo)
Output Speed: Llama 3.3 Instruct 70B
Latency vs. Output Speed
Latência
Medida pelo tempo (segundos) até o primeiro token
Tempo até o primeiro token: provedores do Llama 3.3 70B
Tempo de resposta de ponta a ponta
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tempo de resposta de ponta a ponta: provedores do Llama 3.3 70B
Principais métricas de comparação e recursos da API
 Fireworks | 131k | Aberto | $0.14 | -- | -- | -- | -- | ||
| Google | 128k | Aberto | $0.11 | 133 | 0.71 | 4.46 | -- | ||
| Groq | 131k | Aberto | $0.09 | 310 | 0.94 | 2.56 | -- | ||
| Novita | 131k | Aberto | $0.02 | -- | -- | -- | -- | ||
| Parasail | 131k | Aberto | $0.02 | 59 | 2.60 | 11.01 | -- | ||
| SambaNova | 128k | Aberto | $0.09 | 292 | 2.03 | 3.74 | -- | ||
| Nebius | 128k | Aberto | $0.02 | 12 | 6.50 | 49.19 | -- | ||
| CoreWeave | 128k | Aberto | $0.11 | 78 | 0.90 | 7.34 | -- | ||
 Together AI | 131k | Aberto | $0.16 | 89 | 1.29 | 6.92 | -- | ||
| Microsoft Azure | 128k | Aberto | $0.11 | 96 | 2.37 | 7.57 | -- | ||
| DeepInfra | 131k | Aberto | $0.02 | 13 | 2.25 | 39.61 | -- | ||
| Cloudflare | 24k | Aberto | $0.05 | 55 | 3.57 | 12.65 | -- | ||
| Amazon Bedrock | 128k | Aberto | $0.11 | 117 | 1.11 | 5.39 | -- | ||
| Databricks | 128k | Aberto | $0.08 | 67 | 1.22 | 8.71 | -- | ||
 Scaleway | 100k | Aberto | $0.16 | 84 | 1.35 | 7.30 | -- | ||
Perguntas frequentes
Perguntas comuns sobre os provedores do Llama 3.3 Instruct 70B
Llama 3.3 Instruct 70B está disponível em 15 provedores de API: Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Azure, DeepInfra (Turbo, FP8), Cloudflare, Amazon, Databricks e Scaleway. Cada provedor oferece características de desempenho e preços diferentes.
Atualmente, o Llama 3.3 Instruct 70B está disponível em 15 provedores de API que avaliamos e acompanhamos.
Os provedores mais rápidos para o Llama 3.3 Instruct 70B em velocidade de saída são Groq (299.2 t/s), SambaNova (291.5 t/s) e Google Vertex (118.5 t/s). A velocidade de saída mede a rapidez com que os tokens são gerados depois que o modelo começa a responder.
Os provedores com o menor tempo até o primeiro token para o Llama 3.3 Instruct 70B são Google Vertex (0.71s), CoreWeave (0.90s) e Groq (0.96s). Uma latência menor significa um tempo de resposta inicial mais rápido.
Os provedores mais acessíveis para o Llama 3.3 Instruct 70B em preço combinado são DeepInfra (Turbo, FP8) ($0.12 por 1M de tokens), Nebius Base ($0.16 por 1M de tokens) e Novita ($0.16 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.
Os provedores com o menor preço de tokens de entrada para o Llama 3.3 Instruct 70B são DeepInfra (Turbo, FP8) ($0.10 por 1M de tokens de entrada), Nebius Base ($0.13 por 1M de tokens de entrada) e Novita ($0.14 por 1M de tokens de entrada).
Os provedores com o menor preço de tokens de saída para o Llama 3.3 Instruct 70B são DeepInfra (Turbo, FP8) ($0.32 por 1M de tokens de saída), Novita ($0.40 por 1M de tokens de saída) e Nebius Base ($0.40 por 1M de tokens de saída).
Os preços do Llama 3.3 Instruct 70B variam em até 8.6x entre os provedores. O mais acessível é DeepInfra (Turbo, FP8), com $0.12 por 1M de tokens, enquanto Scaleway cobra $1.05 por 1M de tokens.
A velocidade de saída do Llama 3.3 Instruct 70B varia significativamente entre os provedores. Groq é o mais rápido, com 299.2 t/s, 23.8x mais rápido que Nebius Base, com 12.6 t/s.
14 de 15 provedores são compatíveis com o modo JSON para o Llama 3.3 Instruct 70B: Fireworks, Google Vertex, Groq, Novita, Parasail (FP8), SambaNova, Nebius Base, CoreWeave, Together AI Turbo, Azure, DeepInfra (Turbo, FP8), Cloudflare, Databricks e Scaleway.
Todos os 15 provedores do Llama 3.3 Instruct 70B são compatíveis com chamadas de funções (uso de ferramentas).
O melhor provedor para o Llama 3.3 Instruct 70B depende das suas prioridades: Groq oferece a maior velocidade de saída, Google Vertex tem a menor latência e DeepInfra (Turbo, FP8) tem o preço mais competitivo.
Ao escolher um provedor para o Llama 3.3 Instruct 70B, considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.
Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.
Para saber mais sobre a inteligência, as capacidades e as modalidades do Llama 3.3 Instruct 70B, além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo