Inkling (xhigh) Benchmarks y análisis de proveedores de API
Análisis de proveedores de API para Inkling (xhigh) en métricas de rendimiento como latencia (tiempo hasta el primer token), velocidad de salida (tokens de salida por segundo), precio y otras. Los proveedores de API medidos incluyen DeepInfra (FP8), Baseten, Together AI y Thinking Machines.
Más rápido
Velocidad de salida
4 proveedores en total
Menor latencia
Tiempo hasta el primer token de respuesta
4 proveedores en total
Menor precio
Precio combinado (por 1M de tokens)
4 proveedores en total
Inkling está disponible a través de 4 proveedores de API, cada uno con distintas características de rendimiento y precios. A continuación se comparan las métricas clave entre proveedores.
- En velocidad de salida, los principales proveedores son Baseten (253.2 t/s), DeepInfra (FP8) (160.7 t/s) y Together AI (99.0 t/s). La velocidad varía significativamente entre proveedores, con una diferencia del 217% entre el más rápido y el más lento.
- En latencia, Baseten (8.48s), DeepInfra (FP8) (12.95s) y Together AI (20.96s) ofrecen el menor tiempo hasta el primer token de respuesta.
- En precios, DeepInfra (FP8) (0.71), Baseten (0.72) y Together AI (0.72) ofrecen los menores precios combinados por 1M de tokens.
- Baseten ofrece el mejor rendimiento, con la mayor velocidad y la menor latencia. Para optimizar costos, DeepInfra (FP8) ofrece los precios más competitivos.
Aspectos destacados
Actualización: La carga de trabajo predeterminada de medición de rendimiento se actualizó a 10k tokens de entrada para reflejar mejor los casos de uso en producción. Aún puedes seleccionar distintas cargas de trabajo arriba.
Precios
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
Velocidad
Medida por la velocidad de salida (tokens por segundo)
Output Speed: Inkling (xhigh)
Latency vs. Output Speed
Latencia
Medida por el tiempo (segundos) hasta el primer token
Tiempo hasta el primer token de respuesta
Tiempo de respuesta de extremo a extremo
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
Tiempo de respuesta de extremo a extremo
Métricas clave de comparación y funciones de API
Preguntas frecuentes
Preguntas comunes sobre los proveedores de Inkling (xhigh)
Inkling (xhigh) está disponible a través de 4 proveedores de API: DeepInfra (FP8), Baseten, Together AI y Thinking Machines. Cada proveedor ofrece distintas características de rendimiento y precios.
Inkling (xhigh) está disponible actualmente a través de 4 proveedores de API que medimos y monitoreamos.
Los proveedores más rápidos para Inkling (xhigh) por velocidad de salida son Baseten (253.2 t/s), DeepInfra (FP8) (160.7 t/s) y Together AI (99.0 t/s). La velocidad de salida mide qué tan rápido se generan tokens después de que el modelo comienza a responder.
Los proveedores con el menor tiempo hasta el primer token de respuesta para Inkling (xhigh) son Baseten (8.48s), DeepInfra (FP8) (12.95s) y Together AI (20.96s). Una menor latencia significa una respuesta inicial más rápida.
Los proveedores más económicos para Inkling (xhigh) por precio combinado son DeepInfra (FP8) ($0.71 por 1M de tokens), Baseten ($0.72 por 1M de tokens) y Together AI ($0.72 por 1M de tokens). El precio combinado usa una proporción 7:2:1 de aciertos de caché/entrada/salida.
Los proveedores con el menor precio de tokens de entrada para Inkling (xhigh) son DeepInfra (FP8) ($0.95 por 1M de tokens de entrada), Baseten ($1.00 por 1M de tokens de entrada) y Together AI ($1.00 por 1M de tokens de entrada).
Los proveedores con el menor precio de tokens de salida para Inkling (xhigh) son DeepInfra (FP8) ($4.05 por 1M de tokens de salida), Baseten ($4.05 por 1M de tokens de salida) y Together AI ($4.05 por 1M de tokens de salida).
La velocidad de salida de Inkling (xhigh) varía significativamente entre proveedores. Baseten es el más rápido a 253.2 t/s, lo que es 3.2x más rápido que Thinking Machines a 79.9 t/s.
Los 4 proveedores de Inkling (xhigh) admiten el modo JSON para salida estructurada.
Los 4 proveedores de Inkling (xhigh) admiten llamadas a funciones (uso de herramientas).
Para Inkling (xhigh), Baseten ofrece el mejor rendimiento con la mayor velocidad y la menor latencia. Para optimizar costos, DeepInfra (FP8) ofrece los precios más competitivos.
Al elegir un proveedor para Inkling (xhigh), considera: velocidad de salida (para tareas intensivas en rendimiento), latencia (para aplicaciones interactivas que requieren primeras respuestas rápidas), precios (para cargas de trabajo sensibles al costo) y funciones de API como el modo JSON o las llamadas a funciones.
Sí, el rendimiento de un proveedor puede variar con el tiempo debido a cambios de infraestructura, balanceo de carga y actualizaciones. Medimos continuamente a todos los proveedores y mostramos las tendencias históricas de rendimiento en los gráficos "a lo largo del tiempo".
Para información sobre la inteligencia, las capacidades, las modalidades de Inkling (xhigh) y cómo se compara con otros modelos, consulta la página de resumen del modelo. Ver resumen del modelo