Inkling Small Benchmarks y análisis de proveedores de API
Este análisis está pensado para ayudarte a elegir el mejor proveedor de API de Inkling Small para tu caso de uso.
Más rápido
Baseten
DeepInfra
Thinking MachinesVelocidad de salida
3 proveedores en total
Menor latencia
BasetenDeepInfraThinking MachinesTiempo hasta el primer token de respuesta
3 proveedores en total
Menor precio
Thinking MachinesDeepInfraBasetenPrecio combinado (por 1M de tokens)
3 proveedores en total
Inkling Small está disponible a través de 3 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son Baseten (334.0 t/s), DeepInfra (255.5 t/s) y Thinking Machines (207.5 t/s).
- En latencia, Baseten (6.64s), DeepInfra (8.54s) y Thinking Machines (12.22s) ofrecen el menor tiempo hasta el primer token de respuesta.
- En precios, Thinking Machines (0.22), DeepInfra (0.28) y Baseten (0.29) ofrecen los menores precios combinados por 1M de tokens.
- Baseten ofrece el mejor rendimiento, con la mayor velocidad y la menor latencia. Para optimizar costos, Thinking Machines ofrece los precios más competitivos.
Aspectos destacados
Actualización: La carga de trabajo predeterminada de medición de rendimiento se actualizó a 10k tokens de entrada para reflejar mejor los casos de uso en producción. Aún puedes seleccionar distintas cargas de trabajo arriba.
Precios
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Output Speed: Inkling Small
Latency vs. Output Speed
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token de respuesta
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Inkling Small
Inkling Small está disponible a través de 3 proveedores de API: Thinking Machines, DeepInfra y Baseten. Cada proveedor ofrece distintas características de rendimiento y precios.
Inkling Small está disponible actualmente a través de 3 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Inkling Small por velocidad de salida son Baseten (334.0 t/s), DeepInfra (255.5 t/s) y Thinking Machines (207.5 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token de respuesta para Inkling Small son Baseten (6.64s), DeepInfra (8.54s) y Thinking Machines (12.22s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Inkling Small por precio combinado son Thinking Machines ($0.22 por 1M de tokens), DeepInfra ($0.28 por 1M de tokens) y Baseten ($0.29 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Inkling Small son Thinking Machines ($0.30 por 1M de tokens de entrada), DeepInfra ($0.45 por 1M de tokens de entrada) y Baseten ($0.50 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Inkling Small son Thinking Machines ($1.20 por 1M de tokens de salida), DeepInfra ($1.20 por 1M de tokens de salida) y Baseten ($1.20 por 1M de tokens de salida).
Los precios de Inkling Small varían hasta 1.3x entre proveedores. El más económico es Thinking Machines a $0.22 por 1M de tokens, mientras que Baseten cobra $0.29 por 1M de tokens.
La velocidad de salida de Inkling Small varía significativamente entre proveedores. Baseten es el más rápido a 334.0 t/s, lo que es 1.6x más rápido que Thinking Machines a 207.5 t/s.
Los 3 proveedores de Inkling Small admiten el modo JSON para salida estructurada.
Los 3 proveedores de Inkling Small admiten llamadas a funciones (uso de herramientas).
Para Inkling Small, Baseten ofrece el mejor rendimiento con la mayor velocidad y la menor latencia. Para optimizar costos, Thinking Machines ofrece los precios más competitivos.
Al elegir un proveedor para Inkling Small, considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Inkling Small y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo