Este modelo está obsoleto. Continuamos medindo seu desempenho, mas com menos frequência: a cada 18 horas em vez de a cada 6.
Meta lançou uma versão mais recente, Llama 3.2 Instruct 11B (Vision). Sugerimos considerá-la como alternativa.
Llama 3.1 Instruct 8B Benchmarking e análise de provedores de API
Esta análise ajuda você a escolher o melhor provedor de API de Llama 3.1 Instruct 8B para seu caso de uso.
Menor tempo por tarefa
Tempo por tarefa do Intelligence Index (minutos)
6 endpoints de 5 provedores
Menor custo por tarefa
Custo por tarefa do Intelligence Index
6 endpoints de 5 provedores
Llama 3.1 8B está disponível em 6 endpoints de API de 5 provedores, cada um com características de desempenho e preços diferentes. Veja abaixo uma comparação das principais métricas entre os provedores.
Preços
Custo por tarefa do Intelligence Index: Llama 3.1 Instruct 8B
Preços: acertos de cache, entrada e saída: Llama 3.1 Instruct 8B
Velocidade de saída vs. custo por tarefa: Llama 3.1 Instruct 8B
Velocidade
Média das cargas de trabalho medidas de solicitação única e agênticas multiturno
Velocidade de saída: Llama 3.1 Instruct 8B
Latência
Média das cargas de trabalho medidas de solicitação única e agênticas multiturno
Tempo até o primeiro token da resposta final: Llama 3.1 Instruct 8B
Confiabilidade
Parcela de solicitações em que o endpoint falhou, em todas as cargas de trabalho medidas de solicitação única e agênticas multiturno
Taxa de erros do endpoint: Llama 3.1 Instruct 8B
Cache
Taxa de acertos do cache: Llama 3.1 Instruct 8B
Custo por tarefa vs. Taxa de acertos do cache: Llama 3.1 Instruct 8B
Principais métricas de comparação e recursos da API
Perguntas frequentes
Perguntas comuns sobre os provedores do Llama 3.1 Instruct 8B
Atualmente, o Llama 3.1 Instruct 8B está disponível em 6 endpoints de API de 5 provedores que avaliamos e acompanhamos.
Os provedores mais acessíveis para o Llama 3.1 Instruct 8B em preço combinado são DeepInfra (Turbo, FP8) ($0.022 por 1M de tokens), Novita ($0.023 por 1M de tokens) e DeepInfra ($0.023 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.
Os provedores com o menor preço de tokens de entrada para o Llama 3.1 Instruct 8B são Novita ($0.02 por 1M de tokens de entrada), DeepInfra (Turbo, FP8) ($0.02 por 1M de tokens de entrada) e DeepInfra ($0.02 por 1M de tokens de entrada).
Os provedores com o menor preço de tokens de saída para o Llama 3.1 Instruct 8B são DeepInfra (Turbo, FP8) ($0.04 por 1M de tokens de saída), Novita ($0.05 por 1M de tokens de saída) e DeepInfra ($0.05 por 1M de tokens de saída).
Os preços do Llama 3.1 Instruct 8B variam em até 10.0x entre os provedores. O mais acessível é DeepInfra (Turbo, FP8), com $0.022 por 1M de tokens, enquanto CoreWeave cobra $0.22 por 1M de tokens.
5 de 6 endpoints são compatíveis com o modo JSON para o Llama 3.1 Instruct 8B: Groq, Novita, CoreWeave, DeepInfra (Turbo, FP8) e DeepInfra.
5 de 6 endpoints são compatíveis com chamadas de funções para o Llama 3.1 Instruct 8B: Groq, CoreWeave, Amazon, DeepInfra (Turbo, FP8) e DeepInfra.
Ao escolher um provedor para o Llama 3.1 Instruct 8B, considere o tempo por tarefa (a rapidez com que o provedor conclui uma tarefa do Intelligence Index), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.
Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.
Para saber mais sobre a inteligência, as capacidades e as modalidades do Llama 3.1 Instruct 8B, além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo