NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) Benchmarking e análise de provedores de API
Análise dos provedores de API do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) em métricas de desempenho como latência (tempo até o primeiro token), velocidade de saída (tokens de saída por segundo), preço e outras. Os provedores de API avaliados incluem Amazon Bedrock e DeepInfra (FP8).
Mais rápido
Amazon
DeepInfra (FP8)Velocidade de saída
2 provedores no total
Menor latência
AmazonDeepInfra (FP8)Tempo até o primeiro token
2 provedores no total
Menor preço
AmazonDeepInfra (FP8)Preço combinado (por 1M de tokens)
2 provedores no total
NVIDIA Nemotron Nano 12B v2 VL está disponível em 2 provedores de API, cada um com características de desempenho e preços diferentes. Veja abaixo uma comparação das principais métricas entre os provedores.
- Em velocidade de saída, os principais provedores são Amazon (209.6 t/s) e DeepInfra (FP8) (87.1 t/s).
- Em latência, Amazon (1.11s) e DeepInfra (FP8) (5.54s) têm o menor tempo até o primeiro token.
- Em preço, Amazon (0.24) e DeepInfra (FP8) (0.24) têm os menores preços combinados por 1M de tokens.
- Amazon se destaca na liderança geral, ocupando o primeiro lugar nas três categorias: velocidade, latência e preço.
Destaques
Atualização: A carga de trabalho padrão do benchmarking de desempenho passou a usar 10k tokens de entrada para representar melhor os casos de uso em produção. Você ainda pode selecionar outras cargas de trabalho acima.
Preços
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Output Speed vs. Price
Velocidade
Medida pela velocidade de saída (tokens por segundo)
Output Speed: NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning)
Latency vs. Output Speed
Latência
Medida pelo tempo (segundos) até o primeiro token
Tempo até o primeiro token: provedores do NVIDIA Nemotron Nano 12B v2 VL
Tempo de resposta de ponta a ponta
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tempo de resposta de ponta a ponta: provedores do NVIDIA Nemotron Nano 12B v2 VL
Principais métricas de comparação e recursos da API
Perguntas frequentes
Perguntas comuns sobre os provedores do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning)
NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) está disponível em 2 provedores de API: Amazon e DeepInfra (FP8). Cada provedor oferece características de desempenho e preços diferentes.
Atualmente, o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) está disponível em 2 provedores de API que avaliamos e acompanhamos.
Os provedores mais rápidos para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) em velocidade de saída são Amazon (209.6 t/s) e DeepInfra (FP8) (87.1 t/s). A velocidade de saída mede a rapidez com que os tokens são gerados depois que o modelo começa a responder.
Os provedores com o menor tempo até o primeiro token para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) são Amazon (1.11s) e DeepInfra (FP8) (5.54s). Uma latência menor significa um tempo de resposta inicial mais rápido.
Os provedores mais acessíveis para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) em preço combinado são Amazon ($0.24 por 1M de tokens) e DeepInfra (FP8) ($0.24 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.
Os provedores com o menor preço de tokens de entrada para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) são Amazon ($0.20 por 1M de tokens de entrada) e DeepInfra (FP8) ($0.20 por 1M de tokens de entrada).
Os provedores com o menor preço de tokens de saída para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) são Amazon ($0.60 por 1M de tokens de saída) e DeepInfra (FP8) ($0.60 por 1M de tokens de saída).
A velocidade de saída do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) varia significativamente entre os provedores. Amazon é o mais rápido, com 209.6 t/s, 2.4x mais rápido que DeepInfra (FP8), com 87.1 t/s.
1 de 2 provedores são compatíveis com o modo JSON para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning): DeepInfra (FP8).
Todos os 2 provedores do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) são compatíveis com chamadas de funções (uso de ferramentas).
Amazon lidera em todas as principais métricas do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning), com a maior velocidade, a menor latência e o preço mais competitivo.
Ao escolher um provedor para o NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning), considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.
Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.
Para saber mais sobre a inteligência, as capacidades e as modalidades do NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning), além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo