Este modelo está obsoleto. Continuamos medindo o desempenho apenas para a carga padrão de 10 mil tokens de entrada. Os resultados de outras cargas são históricos e não são mais atualizados.
Meta lançou uma versão mais recente, Llama 3.2 Instruct 11B (Vision). Sugerimos considerá-la como alternativa.
Llama 3.1 Instruct 8B Benchmarking e análise de provedores de API
Esta análise ajuda você a escolher o melhor provedor de API de Llama 3.1 Instruct 8B para seu caso de uso.
Mais rápido
Groq
Novita
CoreWeave
DeepInfra (Turbo, FP8)DeepInfraVelocidade de saída
7 provedores no total
Menor latência
CoreWeaveGroqDeepInfraNovitaDeepInfra (Turbo, FP8)Tempo até o primeiro token
7 provedores no total
Menor preço
CloudflareDeepInfra (Turbo, FP8)NovitaDeepInfraGroqPreço combinado (por 1M de tokens)
7 provedores no total
Llama 3.1 8B está disponível em 7 provedores de API, cada um com características de desempenho e preços diferentes. Veja abaixo uma comparação das principais métricas entre os provedores.
- Em velocidade de saída, os principais provedores são Groq (634.3 t/s), Novita (156.0 t/s) e CoreWeave (141.7 t/s). A velocidade varia significativamente entre os provedores, com uma diferença de 1971% entre o mais rápido e o mais lento.
- Em latência, CoreWeave (0.66s), Groq (0.80s) e DeepInfra (0.87s) têm o menor tempo até o primeiro token.
- Em preço, Cloudflare (0.00), DeepInfra (Turbo, FP8) (0.02) e Novita (0.02) têm os menores preços combinados por 1M de tokens.
Preços
Preços: acertos de cache, entrada e saída
Preços: Preço combinado
Velocidade de saída vs. preço
Velocidade
Medida pela velocidade de saída (tokens por segundo)
Velocidade de saída: Llama 3.1 Instruct 8B
Latência vs. velocidade de saída
Latência
Medida pelo tempo (segundos) até o primeiro token
Tempo até o primeiro token
Tempo de resposta de ponta a ponta
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tempo de resposta de ponta a ponta
Principais métricas de comparação e recursos da API
Perguntas frequentes
Perguntas comuns sobre os provedores do Llama 3.1 Instruct 8B
Llama 3.1 Instruct 8B está disponível em 7 provedores de API: Groq, Novita, CoreWeave, Amazon, Cloudflare, DeepInfra (Turbo, FP8) e DeepInfra. Cada provedor oferece características de desempenho e preços diferentes.
Atualmente, o Llama 3.1 Instruct 8B está disponível em 7 provedores de API que avaliamos e acompanhamos.
Os provedores mais acessíveis para o Llama 3.1 Instruct 8B em preço combinado são Cloudflare ($0.00 por 1M de tokens), DeepInfra (Turbo, FP8) ($0.02 por 1M de tokens) e Novita ($0.02 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.
Os provedores com o menor preço de tokens de entrada para o Llama 3.1 Instruct 8B são Cloudflare ($0.00 por 1M de tokens de entrada), Novita ($0.02 por 1M de tokens de entrada) e DeepInfra (Turbo, FP8) ($0.02 por 1M de tokens de entrada).
Os provedores com o menor preço de tokens de saída para o Llama 3.1 Instruct 8B são Cloudflare ($0.00 por 1M de tokens de saída), DeepInfra (Turbo, FP8) ($0.04 por 1M de tokens de saída) e Novita ($0.05 por 1M de tokens de saída).
6 de 7 provedores são compatíveis com o modo JSON para o Llama 3.1 Instruct 8B: Groq, Novita, CoreWeave, Cloudflare, DeepInfra (Turbo, FP8) e DeepInfra.
6 de 7 provedores são compatíveis com chamadas de funções para o Llama 3.1 Instruct 8B: Groq, CoreWeave, Amazon, Cloudflare, DeepInfra (Turbo, FP8) e DeepInfra.
O melhor provedor para o Llama 3.1 Instruct 8B depende das suas prioridades: Groq oferece a maior velocidade de saída, CoreWeave tem a menor latência e Cloudflare tem o preço mais competitivo.
Ao escolher um provedor para o Llama 3.1 Instruct 8B, considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.
Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.
Para saber mais sobre a inteligência, as capacidades e as modalidades do Llama 3.1 Instruct 8B, além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo