Exécuter de grands modèles de langage sur plusieurs GPU ne consiste pas seulement à ajouter des cartes—il s'agit de choisir la bonne stratégie de parallélisation. Cette analyse détaille deux approches dominantes : le split de couches, qui répartit les couches du modèle sur les GPU et est largement insensible au nombre de cartes, et le parallélisme tensoriel, qui divise les tenseurs individuels et est très sensible à la bande passante d'interconnexion. Pour les équipes disposant de 3 à 4 GPU, la décision dépend de la topologie matérielle : avec un NVLink rapide, le parallélisme tensoriel peut offrir une latence plus faible ; avec PCIe, le split de couches évite souvent le goulot d'étranglement de communication. L'article compare également vLLM, llama.cpp et TensorSharp, montrant que la maturité logicielle et l'optimisation des kernels comptent souvent plus que le nombre brut de GPU. Une lecture essentielle pour ceux qui construisent une infrastructure d'inférence à petite échelle sans clusters massifs.
Un guide pratique pour choisir entre le split de couches et le parallélisme tensoriel pour l'inférence LLM multi-GPU, axé sur la sensibilité à l'interconnexion et les compromis sur le nombre de cartes.