Análise de inteligência, desempenho e preço do Llama 3.1 Nemotron Instruct 70B
Resumo do modelo
Inteligência
Velocidade
Preço de entrada
Preço de saída
Verbosidade
Llama 3.1 Nemotron Instruct 70B está acima da média em inteligência, mas tem preço especialmente alto em comparação com outros modelos sem raciocínio, de pesos abertos e tamanho semelhante. O modelo aceita entrada em texto, gera saída em texto e tem uma janela de contexto de 128k tokens, com conhecimento até dezembro de 2023.
Llama 3.1 Nemotron Instruct 70B alcança 8 pontos no Artificial Analysis Intelligence Index, ficando acima da média entre os modelos comparáveis (mediana: 7).
O preço do Llama 3.1 Nemotron Instruct 70B é de $1.20 por 1M de tokens de entrada (preço alto, mediana: $0.18) e $1.20 por 1M de tokens de saída (preço alto, mediana: $0.40).
Com 93 tokens por segundo, Llama 3.1 Nemotron Instruct 70B é mais rápido que a média (91).
| Raciocínio | Não Esta página mostra a versão sem raciocínio deste modelo. Também pode existir uma variante com raciocínio. |
|---|---|
| Modalidade de entrada | Compatível com: texto |
| Modalidade de saída | Compatível com: texto |
| Data-limite do conhecimento | 1 de dez. de 2023 |
| Janela de contexto | 128k ~192 páginas A4 em fonte Arial tamanho 12 |
| Parâmetros totais | 70B |
| Licença | LLAMA 3.1 COMMUNITY LICENSE AGREEMENT |
| Pesos do modelo | Hugging Face |
As métricas são comparadas com modelos da mesma classe:
- Modelos sem raciocínio → comparados apenas com outros modelos sem raciocínio
- Modelos de raciocínio → comparados com modelos com e sem raciocínio
- Modelos de pesos abertos → comparados apenas com outros modelos de pesos abertos da mesma classe de tamanho:
- Muito pequeno: ≤4B parâmetros
- Pequeno: 4B–40B parâmetros
- Médio: 40B–150B parâmetros
- Grande: >150B parâmetros
- Modelos proprietários → comparados com modelos proprietários e de pesos abertos da mesma faixa de preço, usando uma proporção combinada de 3:1 entre os preços de entrada e saída:
- <$0.15 por 1M de tokens
- $0.15–$1 por 1M de tokens
- >$1 por 1M de tokens
Destaques
Inteligência
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index by Open Weights / Proprietary
Intelligence Evaluations
Agentic real-world work tasks, (Elo-500)/2000
Agentic tool use
Agentic coding & terminal use
Coding
Reasoning & knowledge
Scientific reasoning
Physics reasoning
Knowledge
1 - hallucination rate
Long context reasoning
Agentic knowledge work, Elo
Agentic SaaS workflows
Legal agentic work, criterion pass rate
Agentic business operations
Instruction following
Long-horizon agentic tasks
Kubernetes incident root-cause analysis
Visual reasoning
AA-Omniscience
AA-Omniscience Index
Openness Index
Artificial Analysis Openness Index: Score
Comparações do Intelligence Index
Intelligence Index vs. Cost per Intelligence Index Task
Custo
Cost per Intelligence Index Task
Cost to Run Artificial Analysis Intelligence Index
Pricing: Cache Hit, Input, and Output
Janela de contexto
Context Window
Velocidade
Medida pela velocidade de saída (tokens por segundo)
Output Speed
Time per Intelligence Index Task
Latência
Medida pelo tempo (segundos) até o primeiro token
Latency: Time To First Answer Token
Tempo de resposta de ponta a ponta
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
End-to-End Response Time
Tamanho do modelo (somente modelos de pesos abertos)
Model Size: Total and Active Parameters
Perguntas frequentes
Perguntas comuns sobre o Llama 3.1 Nemotron Instruct 70B
O Llama 3.1 Nemotron Instruct 70B foi lançado em 15 de outubro de 2024.
NVIDIA criou o Llama 3.1 Nemotron Instruct 70B.
Llama 3.1 Nemotron Instruct 70B alcança 8 pontos (estimativa) no Artificial Analysis Intelligence Index, ficando acima da média entre outros modelos sem raciocínio, de pesos abertos e tamanho semelhante (mediana: 7).
Llama 3.1 Nemotron Instruct 70B gera a saída a 93.2 tokens por segundo (com base na mediana dos provedores que oferecem o modelo), um resultado acima da média em comparação com outros modelos sem raciocínio, de pesos abertos e tamanho semelhante (mediana: 91.0 t/s).
Llama 3.1 Nemotron Instruct 70B tem um tempo até o primeiro token (TTFT) de 6.63s (com base na mediana dos provedores que oferecem o modelo), um resultado na faixa superior em comparação com outros modelos sem raciocínio, de pesos abertos e tamanho semelhante (mediana: 1.76s).
Llama 3.1 Nemotron Instruct 70B custa $1.20 por 1M de tokens de entrada (na faixa superior, mediana: $0.46) e $1.20 por 1M de tokens de saída (um pouco acima da média, mediana: $0.71), com base na mediana dos provedores que oferecem o modelo.
Llama 3.1 Nemotron Instruct 70B custa $1.20 por 1M de tokens de entrada e $1.20 por 1M de tokens de saída (com base na mediana dos provedores que oferecem o modelo). Considerando uma tarifa combinada (proporção de 7:2:1 entre acerto do cache, entrada e saída), o preço é de $1.20 por 1M de tokens. O preço pode variar conforme o provedor. Comparar preços dos provedores
Não, o Llama 3.1 Nemotron Instruct 70B não é um modelo de raciocínio. Ele fornece respostas diretas, sem raciocínio em cadeia prolongado.
Llama 3.1 Nemotron Instruct 70B aceita entrada em texto.
Llama 3.1 Nemotron Instruct 70B permite saída em texto.
Não, o Llama 3.1 Nemotron Instruct 70B não aceita imagens como entrada. Ele só consegue processar texto.
Não, o Llama 3.1 Nemotron Instruct 70B não é multimodal. Ele aceita apenas entrada em texto.
Llama 3.1 Nemotron Instruct 70B tem uma janela de contexto de 130k tokens. Isso determina quanto texto e histórico da conversa o modelo consegue processar em uma única solicitação.
Sim, o Llama 3.1 Nemotron Instruct 70B é um modelo de pesos abertos. Os pesos estão disponíveis publicamente e podem ser baixados para auto-hospedagem.
Llama 3.1 Nemotron Instruct 70B tem 70 bilhões parâmetros.
Llama 3.1 Nemotron Instruct 70B foi lançado sob a licença LLAMA 3.1 COMMUNITY LICENSE AGREEMENT. Essa licença permite o uso comercial. Ver licença
Llama 3.1 Nemotron Instruct 70B alcança 8 pontos no Artificial Analysis Intelligence Index. Esse benchmark composto avalia os modelos em raciocínio, conhecimento, matemática e programação.
A data-limite do conhecimento do Llama 3.1 Nemotron Instruct 70B é dezembro de 2023. Os dados de treinamento do modelo incluem informações até essa data.
Sim, o Llama 3.1 Nemotron Instruct 70B está disponível por API em 1 provedor. Comparar provedores de API
Llama 3.1 Nemotron Instruct 70B está disponível em 1 provedor de API. Comparar provedores