La mémoire GPU est souvent le goulot d'étranglement dans l'inférence des grands modèles de langage, mais de nombreux ingénieurs n'ont pas un modèle mental clair de où la mémoire va réellement. Cette plongée technique décompose le problème en trois couches : le mur de mémoire qui limite la capacité d'un seul GPU, les stratégies de parallélisme distribué qui échangent la communication contre la mémoire, et le mécanisme PagedAttention qui élimine la fragmentation dans la gestion du cache KV.
PagedAttention de vLLM est particulièrement remarquable car il emprunte les concepts de pagination de mémoire virtuelle des systèmes d'exploitation, permettant de stocker les caches KV d'attention dans des blocs mémoire non contigus. Cela réduit le gaspillage jusqu'à 90% dans certaines charges de travail et permet des tailles de lot plus élevées, améliorant directement le débit et l'efficacité des coûts.
Pour les équipes exécutant des services LLM en production, comprendre ces mécanismes n'est pas optionnel. Cela informe les décisions sur la sélection des GPU, la configuration du parallélisme et le choix du framework de service. À mesure que les modèles grandissent, l'écart entre la demande mémoire et l'offre matérielle ne fera que se creuser, rendant ces connaissances de plus en plus précieuses.