GPU-Speicher ist oft der Engpass bei der Inferenz großer Sprachmodelle, doch viele Ingenieure haben kein klares mentales Modell davon, wo der Speicher tatsächlich hingeht. Dieser Deep Dive zerlegt das Problem in drei Ebenen: die Memory Wall, die die Kapazität einer einzelnen GPU begrenzt, verteilte Parallelstrategien, die Kommunikation gegen Speicher eintauschen, und den PagedAttention-Mechanismus, der Fragmentierung im KV-Cache-Management eliminiert.
vLLMs PagedAttention ist besonders bemerkenswert, weil es Konzepte des virtuellen Speicher-Pagings aus Betriebssystemen übernimmt und es ermöglicht, KV-Caches in nicht zusammenhängenden Speicherblöcken zu speichern. Dies reduziert Verschwendung in einigen Workloads um bis zu 90% und ermöglicht größere Batch-Größen, was direkt den Durchsatz und die Kosteneffizienz verbessert.
Für Teams, die Produktions-LLM-Dienste betreiben, ist das Verständnis dieser Mechanismen nicht optional. Es beeinflusst Entscheidungen zur GPU-Auswahl, Parallelitätskonfiguration und Wahl des Serving-Frameworks. Mit wachsenden Modellen wird die Lücke zwischen Speicherbedarf und Hardwareangebot nur größer, was dieses Wissen zunehmend wertvoll macht.