Une analyse récente des mécanismes de mise en cache des LLM révèle un contraste frappant : la mise en cache implicite (par exemple, la réutilisation du cache KV) atteint un taux de succès proche de 0 % dans de nombreux scénarios réels, tandis que la mise en cache explicite (par exemple, la mise en cache des prompts) peut atteindre 90 % ou plus. Cette différence provient de la manière dont chaque approche gère la variabilité des entrées utilisateur. La mise en cache implicite repose sur des séquences identiques répétées, qui sont rares dans les conversations ouvertes. La mise en cache explicite, en revanche, stocke les prompts ou préfixes fréquemment utilisés, permettant une réutilisation élevée. Pour les équipes d'ingénierie déployant des LLM à grande échelle, cette information est cruciale. Choisir la bonne stratégie de mise en cache peut réduire les coûts d'inférence d'un ordre de grandeur et diminuer la latence de quelques secondes à quelques millisecondes. Le compromis implique une complexité technique supplémentaire pour la mise en cache explicite, y compris l'invalidation du cache et les frais généraux de stockage. À mesure que l'utilisation des LLM augmente, la compréhension de ces dynamiques de mise en cache devient un avantage concurrentiel clé pour les services d'IA rentables.
Comparaison des stratégies de mise en cache implicite et explicite pour les LLM, mettant en évidence un écart spectaculaire de taux de succès et des implications pratiques pour les coûts et la latence.