Alors que les LLM open-source deviennent plus performants, de nombreuses équipes explorent le déploiement local pour des raisons de confidentialité, de latence et de coût. Ce guide propose une approche systématique de la sélection du matériel, couvrant les besoins en GPU, RAM et stockage pour des modèles de 7B à 70B paramètres. Il comprend un cadre à quatre coordonnées (taille du modèle, vitesse d'inférence, taille de lot, budget) et une formule de capacité pour estimer les besoins en mémoire. Des benchmarks vérifiés issus de déploiements réels aident les développeurs à faire des compromis éclairés entre performance et coût. Le guide aborde également les tendances émergentes comme les configurations multi-GPU et la quantification. Pour les responsables techniques, c'est une référence précieuse pour planifier une infrastructure IA sur site.
Un guide complet sur la sélection du matériel pour le déploiement local de LLM, incluant des formules de capacité et des benchmarks vérifiés.