Mistral Large 3 Benchmarking e análise de provedores de API

Mistral Large 3 está disponível em 3 provedores de API: Amazon, Azure e Mistral. Cada provedor oferece características de desempenho e preços diferentes.

Atualmente, o Mistral Large 3 está disponível em 3 provedores de API que avaliamos e acompanhamos.

Os provedores mais rápidos para o Mistral Large 3 em velocidade de saída são Amazon (207.6 t/s), Azure (96.9 t/s) e Mistral (74.6 t/s). A velocidade de saída mede a rapidez com que os tokens são gerados depois que o modelo começa a responder.

Os provedores com o menor tempo até o primeiro token para o Mistral Large 3 são Mistral (1.07s), Amazon (1.09s) e Azure (1.43s). Uma latência menor significa um tempo de resposta inicial mais rápido.

Os provedores mais acessíveis para o Mistral Large 3 em preço combinado são Amazon ($0.60 por 1M de tokens), Azure ($0.60 por 1M de tokens) e Mistral ($0.60 por 1M de tokens). O preço combinado usa uma proporção de 7:2:1 entre tokens de acerto do cache, entrada e saída.

Os provedores com o menor preço de tokens de entrada para o Mistral Large 3 são Amazon ($0.50 por 1M de tokens de entrada), Azure ($0.50 por 1M de tokens de entrada) e Mistral ($0.50 por 1M de tokens de entrada).

Os provedores com o menor preço de tokens de saída para o Mistral Large 3 são Amazon ($1.50 por 1M de tokens de saída), Azure ($1.50 por 1M de tokens de saída) e Mistral ($1.50 por 1M de tokens de saída).

A velocidade de saída do Mistral Large 3 varia significativamente entre os provedores. Amazon é o mais rápido, com 207.6 t/s, 2.8x mais rápido que Mistral, com 74.6 t/s.

2 de 3 provedores são compatíveis com o modo JSON para o Mistral Large 3: Azure e Mistral.

Todos os 3 provedores do Mistral Large 3 são compatíveis com chamadas de funções (uso de ferramentas).

O melhor provedor para o Mistral Large 3 depende das suas prioridades: Amazon oferece a maior velocidade de saída, Mistral tem a menor latência e Amazon tem o preço mais competitivo.

Ao escolher um provedor para o Mistral Large 3, considere a velocidade de saída (para tarefas que exigem alta vazão), a latência (para aplicações interativas que precisam de respostas iniciais rápidas), o preço (para cargas de trabalho atentas aos custos) e os recursos da API, como modo JSON e chamadas de funções.

Sim. O desempenho dos provedores pode variar ao longo do tempo devido a mudanças na infraestrutura, balanceamento de carga e atualizações. Avaliamos continuamente todos os provedores e exibimos as tendências históricas de desempenho nos gráficos de evolução ao longo do tempo.

Para saber mais sobre a inteligência, as capacidades e as modalidades do Mistral Large 3, além de como ele se compara a outros modelos, consulte a página de visão geral do modelo. Ver visão geral do modelo