Un reflejo común entre los usuarios de la API GPT para ahorrar costos es cambiar a un modelo más antiguo y económico. Sin embargo, un análisis reciente de facturación real de un desarrollador revela una palanca más efectiva: el almacenamiento en caché de prompts. El estudio de caso muestra un uso total de tokens de 212,930, con una entrada estándar de 189,287 tokens y una entrada en caché de solo 4,328 tokens. La gran mayoría de los tokens no estaban utilizando el caché, lo que generaba costos más altos. Al reestructurar los prompts para maximizar los aciertos de caché, como reutilizar mensajes del sistema estáticos y contexto común, los desarrolladores pueden lograr ahorros significativos sin comprometer el rendimiento del modelo. Este enfoque es especialmente valioso para aplicaciones con patrones de prompts repetitivos o predecibles.
Un desarrollador comparte un caso real de facturación que muestra que los costos de la API GPT se ven más afectados por las fallas de caché que por la elección del modelo. Al optimizar la estructura de los prompts para aumentar los aciertos de caché, los costos se pueden reducir significativamente sin sacrificar la calidad del modelo.