Inkling (xhigh) Benchmarking e análise de provedores de API
Esta análise ajuda você a escolher o melhor provedor de API de Inkling (xhigh) para seu caso de uso.
Mais rápido
Databricks
Baseten
DeepInfra (FP8)
Together AI
Thinking MachinesVelocidade de saída
5 provedores no total
Menor latência
BasetenDeepInfra (FP8)DatabricksTogether AIThinking MachinesTempo até o primeiro token da resposta final
5 provedores no total
Menor preço
DeepInfra (FP8)BasetenTogether AIThinking MachinesDatabricksPreço combinado (por 1M de tokens)
5 provedores no total
Inkling está disponível em 5 provedores de API, cada um com características de desempenho e preços diferentes. Veja abaixo uma comparação das principais métricas entre os provedores.
- Em velocidade de saída, os principais provedores são Databricks (212.6 t/s), Baseten (208.3 t/s) e DeepInfra (FP8) (203.9 t/s). A velocidade varia significativamente entre os provedores, com uma diferença de 138% entre o mais rápido e o mais lento.
- Em latência, Baseten (10.24s), DeepInfra (FP8) (10.37s) e Databricks (10.40s) têm o menor tempo até o primeiro token da resposta final.
- Em preço, DeepInfra (FP8) (0.71), Baseten (0.72) e Together AI (0.72) têm os menores preços combinados por 1M de tokens.
Destaques
Atualização: A carga de trabalho padrão do benchmarking de desempenho passou a usar 10k tokens de entrada para representar melhor os casos de uso em produção. Você ainda pode selecionar outras cargas de trabalho acima.
Preços
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidade
Medida pela velocidade de saída (tokens por segundo)
Output Speed: Inkling (xhigh)
Latency vs. Output Speed
Latência
Medida pelo tempo (segundos) até o primeiro token
Tempo até o primeiro token da resposta final
Tempo de resposta de ponta a ponta
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tempo de resposta de ponta a ponta
Principais métricas de comparação e recursos da API
Perguntas frequentes
Perguntas comuns sobre os provedores do Inkling (xhigh)
Inkling (xhigh) está disponível em 5 provedores de API: DeepInfra (FP8), Baseten, Together AI, Thinking Machines e Databricks. Cada provedor oferece características de desempenho e preços diferentes.
Atualmente, o Inkling (xhigh) está disponível em 5 provedores de API que avaliamos e acompanhamos.
Os provedores mais rápidos para o Inkling (xhigh) em velocidade de saída são Databricks (212.6 t/s), Baseten (208.3 t/s) e DeepInfra (FP8) (203.9 t/s). A velocidade de saída mede a rapidez com que os tokens são gerados depois que o modelo começa a responder.
Os provedores com o menor tempo até o primeiro token da resposta final para o Inkling (xhigh) são Baseten (10.24s), DeepInfra (FP8) (10.37s) e Databricks (10.40s). Uma latência menor significa um tempo de resposta inicial mais rápido.
Os provedores mais acessíveis para o Inkling (xhigh) em preço combinado são DeepInfra (FP8) ($0.71 por 1M de tokens), Baseten ($0.72 por 1M de tokens) e Together AI ($0.72 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.
Os provedores com o menor preço de tokens de entrada para o Inkling (xhigh) são DeepInfra (FP8) ($0.95 por 1M de tokens de entrada), Baseten ($1.00 por 1M de tokens de entrada) e Together AI ($1.00 por 1M de tokens de entrada).
Os provedores com o menor preço de tokens de saída para o Inkling (xhigh) são DeepInfra (FP8) ($4.05 por 1M de tokens de saída), Baseten ($4.05 por 1M de tokens de saída) e Together AI ($4.05 por 1M de tokens de saída).
A velocidade de saída do Inkling (xhigh) varia significativamente entre os provedores. Databricks é o mais rápido, com 212.6 t/s, 2.4x mais rápido que Thinking Machines, com 89.2 t/s.
4 de 5 provedores são compatíveis com o modo JSON para o Inkling (xhigh): DeepInfra (FP8), Baseten, Together AI e Thinking Machines.
Todos os 5 provedores do Inkling (xhigh) são compatíveis com chamadas de funções (uso de ferramentas).
O melhor provedor para o Inkling (xhigh) depende das suas prioridades: Databricks oferece a maior velocidade de saída, Baseten tem a menor latência e DeepInfra (FP8) tem o preço mais competitivo.
Ao escolher um provedor para o Inkling (xhigh), considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.
Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.
Para saber mais sobre a inteligência, as capacidades e as modalidades do Inkling (xhigh), além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo