Les threads virtuels de Java offrent un modèle de concurrence léger particulièrement efficace pour les charges de travail liées aux E/S. Dans les applications Spring AI, les appels aux API LLM sont généralement bloquants, occupant les threads de plateforme et limitant l'évolutivité. Ce benchmark compare le traitement traditionnel thread-par-requête aux threads virtuels pour les appels LLM synchrones. Les résultats indiquent que les threads virtuels peuvent gérer un plus grand nombre de requêtes concurrentes avec une latence plus faible et une empreinte mémoire réduite. L'implémentation exploite le support des threads virtuels de Spring, nécessitant des modifications minimales du code. Pour les équipes construisant des services basés sur l'IA sur la JVM, l'adoption des threads virtuels est une optimisation à faible risque et à fort impact.
Les threads virtuels Java peuvent améliorer considérablement le débit et la latence des E/S LLM bloquantes dans Spring AI. Un benchmark pratique pour les intégrations de services IA.