Caché de prompts: análisis de costo y rendimiento entre proveedores

La caché de prompts permite que la inferencia de un modelo de lenguaje reutilice tokens de entrada ya procesados, reduciendo su costo hasta un 90% y haciendo viables las cargas de trabajo de contexto largo. Acertar con la estrategia de caché puede generar grandes ahorros en tokens de entrada y beneficios claros de rendimiento.

Cuando envías un prompt, el sistema primero comprueba si ese prompt exacto ya se procesó. Si se encuentra (acierto de caché), devuelve la respuesta almacenada en lugar de generar una nueva. Si no se encuentra (fallo de caché), el prompt se procesa con normalidad y la respuesta se guarda para usos futuros.

Cuando envías un prompt a un modelo de lenguaje basado en transformers, las capas de atención procesan cada token de entrada en vectores de clave (K) y valor (V) que se almacenan en la caché KV. Al mantener estos valores en memoria, se puede evitar volver a procesar los tokens de entrada cuando se envían de nuevo tokens idénticos al modelo.

Hasta hace poco, aprovechar los beneficios de velocidad y costo de la caché solo era posible en despliegues dedicados. Ahora, los proveedores de API serverless —incluidos los laboratorios frontier— han empezado a trasladar parte de esos beneficios de costo a los desarrolladores.