La performance des modèles Mixture-of-Experts (MoE) est souvent attribuée au nombre d'experts, mais un facteur plus critique est la stabilité du mécanisme de routage. Cette analyse explore comment la mise à l'échelle des MoE implique un équilibre délicat entre capacité, calcul, mémoire et communication. Bien que l'augmentation de la taille des FFN dans les transformateurs denses soit simple, elle impose une contrainte stricte : chaque jeton doit passer par les mêmes paramètres. Les MoE offrent un moyen de briser cette contrainte, mais seulement si le routeur peut diriger les jetons vers les bons experts de manière cohérente. Un routage instable peut entraîner un déséquilibre de charge, un calcul gaspillé et une dégradation des performances. Pour les équipes d'ingénierie, cela signifie se concentrer sur la conception du routeur et la stabilité de l'entraînement autant que sur le nombre d'experts. Ces informations sont particulièrement pertinentes pour ceux qui construisent ou affinent de grands modèles où l'efficacité et l'évolutivité sont primordiales. Comprendre ces compromis peut guider de meilleures décisions architecturales et une allocation des ressources.
Une analyse approfondie de l'architecture Mixture-of-Experts, arguant que la stabilité du routage est la clé de l'efficacité de mise à l'échelle, pas seulement l'ajout d'experts.