Un réflexe courant chez les utilisateurs de l'API GPT pour réduire les coûts est de passer à un modèle plus ancien et moins cher. Cependant, une analyse récente de facturation réelle par un développeur révèle un levier plus efficace : le cache de prompt. L'étude de cas montre une utilisation totale de tokens de 212 930, avec une entrée standard de 189 287 tokens et une entrée en cache de seulement 4 328 tokens. La grande majorité des tokens n'utilisaient pas le cache, entraînant des coûts plus élevés. En restructurant les prompts pour maximiser les hits de cache—par exemple en réutilisant des messages système statiques et un contexte commun—les développeurs peuvent réaliser des économies significatives sans compromettre les performances du modèle. Cette approche est particulièrement précieuse pour les applications avec des modèles de prompts répétitifs ou prévisibles.
Un développeur partage un cas de facturation réel montrant que les coûts de l'API GPT sont davantage influencés par les échecs de cache que par le choix du modèle. En optimisant la structure des prompts pour augmenter les hits de cache, les coûts peuvent être considérablement réduits sans sacrifier la qualité du modèle.