Inkling Small Benchmarking e análise de provedores de API

Inkling Small está disponível em 3 provedores de API: Thinking Machines, DeepInfra e Baseten. Cada provedor oferece características de desempenho e preços diferentes.

Atualmente, o Inkling Small está disponível em 3 provedores de API que avaliamos e acompanhamos.

Os provedores mais rápidos para o Inkling Small em velocidade de saída são Baseten (323.5 t/s), DeepInfra (243.7 t/s) e Thinking Machines (178.0 t/s). A velocidade de saída mede a rapidez com que os tokens são gerados depois que o modelo começa a responder.

Os provedores com o menor tempo até o primeiro token da resposta final para o Inkling Small são Baseten (6.64s), DeepInfra (9.19s) e Thinking Machines (13.36s). Uma latência menor significa um tempo de resposta inicial mais rápido.

Os provedores mais acessíveis para o Inkling Small em preço combinado são Thinking Machines ($0.22 por 1M de tokens), DeepInfra ($0.28 por 1M de tokens) e Baseten ($0.29 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.

Os provedores com o menor preço de tokens de entrada para o Inkling Small são Thinking Machines ($0.30 por 1M de tokens de entrada), DeepInfra ($0.45 por 1M de tokens de entrada) e Baseten ($0.50 por 1M de tokens de entrada).

Os provedores com o menor preço de tokens de saída para o Inkling Small são Thinking Machines ($1.20 por 1M de tokens de saída), DeepInfra ($1.20 por 1M de tokens de saída) e Baseten ($1.20 por 1M de tokens de saída).

Os preços do Inkling Small variam em até 1.3x entre os provedores. O mais acessível é Thinking Machines, com $0.22 por 1M de tokens, enquanto Baseten cobra $0.29 por 1M de tokens.

A velocidade de saída do Inkling Small varia significativamente entre os provedores. Baseten é o mais rápido, com 323.5 t/s, 1.8x mais rápido que Thinking Machines, com 178.0 t/s.

Todos os 3 provedores do Inkling Small são compatíveis com o modo JSON para saída estruturada.

Todos os 3 provedores do Inkling Small são compatíveis com chamadas de funções (uso de ferramentas).

Para o Inkling Small, Baseten oferece o melhor desempenho, com a maior velocidade e a menor latência. Para otimizar os custos, Thinking Machines tem o preço mais competitivo.

Ao escolher um provedor para o Inkling Small, considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.

Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.

Para saber mais sobre a inteligência, as capacidades e as modalidades do Inkling Small, além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo