Inkling Small Benchmarks y análisis de proveedores de API
Análisis de proveedores de API para Inkling Small en métricas de rendimiento como latencia (tiempo hasta el primer token), velocidad de salida (tokens de salida por segundo), precio y otras. Los proveedores de API medidos incluyen Thinking Machines, Baseten y DeepInfra.
Más rápido
Velocidad de salida
3 proveedores en total
Menor latencia
Tiempo hasta el primer token de respuesta
3 proveedores en total
Menor precio
Precio combinado (por 1M de tokens)
3 proveedores en total
Inkling Small está disponible a través de 3 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son Baseten (358.5 t/s), DeepInfra (162.5 t/s) y Thinking Machines (64.5 t/s).
- En latencia, Baseten (5.99s), DeepInfra (12.93s) y Thinking Machines (32.68s) ofrecen el menor tiempo hasta el primer token de respuesta.
- En precios, Thinking Machines (0.22), DeepInfra (0.34) y Baseten (0.72) ofrecen los menores precios combinados por 1M de tokens.
- Baseten ofrece el mejor rendimiento, con la mayor velocidad y la menor latencia. Para optimizar costos, Thinking Machines ofrece los precios más competitivos.
Aspectos destacados
Actualización: La carga de trabajo predeterminada de medición de rendimiento se actualizó a 10k tokens de entrada para reflejar mejor los casos de uso en producción. Aún puedes seleccionar distintas cargas de trabajo arriba.
Precios
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Output Speed: Inkling Small
Latency vs. Output Speed
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token de respuesta
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Inkling Small
Inkling Small está disponible a través de 3 proveedores de API: Thinking Machines, Baseten y DeepInfra. Cada proveedor ofrece distintas características de rendimiento y precios.
Inkling Small está disponible actualmente a través de 3 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Inkling Small por velocidad de salida son Baseten (358.5 t/s), DeepInfra (162.5 t/s) y Thinking Machines (64.5 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token de respuesta para Inkling Small son Baseten (5.99s), DeepInfra (12.93s) y Thinking Machines (32.68s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Inkling Small por precio combinado son Thinking Machines ($0.22 por 1M de tokens), DeepInfra ($0.34 por 1M de tokens) y Baseten ($0.72 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Inkling Small son Thinking Machines ($0.30 por 1M de tokens de entrada), DeepInfra ($0.58 por 1M de tokens de entrada) y Baseten ($1.00 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Inkling Small son Thinking Machines ($1.20 por 1M de tokens de salida), DeepInfra ($1.44 por 1M de tokens de salida) y Baseten ($4.05 por 1M de tokens de salida).
Los precios de Inkling Small varían hasta 3.3x entre proveedores. El más económico es Thinking Machines a $0.22 por 1M de tokens, mientras que Baseten cobra $0.72 por 1M de tokens.
La velocidad de salida de Inkling Small varía significativamente entre proveedores. Baseten es el más rápido a 358.5 t/s, lo que es 5.6x más rápido que Thinking Machines a 64.5 t/s.
Los 3 proveedores de Inkling Small admiten el modo JSON para salida estructurada.
Los 3 proveedores de Inkling Small admiten llamadas a funciones (uso de herramientas).
Para Inkling Small, Baseten ofrece el mejor rendimiento con la mayor velocidad y la menor latencia. Para optimizar costos, Thinking Machines ofrece los precios más competitivos.
Al elegir un proveedor para Inkling Small, considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Inkling Small y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo