Das Ausführen großer Sprachmodelle auf mehreren GPUs erfordert mehr als nur das Hinzufügen von Karten—es erfordert die richtige Parallelisierungsstrategie. Diese Analyse beleuchtet zwei dominante Ansätze: Layer-Splitting, das Modellschichten über GPUs verteilt und weitgehend unabhängig von der Kartenanzahl ist, und Tensor-Parallelismus, das einzelne Tensoren aufteilt und stark von der Interconnect-Bandbreite abhängt. Für Teams mit 3-4 GPUs hängt die Entscheidung von der Hardware-Topologie ab: Mit schnellem NVLink kann Tensor-Parallelismus geringere Latenz bieten; mit PCIe vermeidet Layer-Splitting oft den Kommunikationsengpass. Der Beitrag vergleicht auch vLLM, llama.cpp und TensorSharp und zeigt, dass Software-Reife und Kernel-Optimierung oft wichtiger sind als die rohe Anzahl der GPUs. Pflichtlektüre für alle, die kleine Inferenz-Infrastrukturen ohne massive Cluster aufbauen.
Ein praktischer Leitfaden zur Wahl zwischen Layer-Splitting und Tensor-Parallelismus für Multi-GPU-LLM-Inferenz, mit Fokus auf Interconnect-Empfindlichkeit und Kartenanzahl.