Da Open-Source-LLMs immer leistungsfähiger werden, erwägen viele Teams die lokale Bereitstellung aus Gründen des Datenschutzes, der Latenz und der Kosten. Dieser Leitfaden bietet einen systematischen Ansatz zur Hardware-Auswahl und deckt GPU-, RAM- und Speicheranforderungen für Modelle von 7B bis 70B Parametern ab. Er enthält ein Vier-Koordinaten-Framework (Modellgröße, Inferenzgeschwindigkeit, Batch-Größe, Budget) und eine Kapazitätsformel zur Schätzung des Speicherbedarfs. Verifizierte Benchmarks aus realen Bereitstellungen helfen Entwicklern, fundierte Kompromisse zwischen Leistung und Kosten zu treffen. Der Leitfaden behandelt auch aufkommende Trends wie Multi-GPU-Setups und Quantisierung. Für technische Führungskräfte ist dies eine wertvolle Referenz für die Planung einer On-Premise-AI-Infrastruktur.
Ein umfassender Leitfaden zur Hardware-Auswahl für die lokale LLM-Bereitstellung, einschließlich Kapazitätsformeln und verifizierter Benchmarks.