Cette analyse technique explore comment llama.cpp implémente l'architecture Mixture-of-Experts (MoE) pour le modèle Qwen3.6-35B-A3B. L'article détaille le mécanisme de routage qui sélectionne les experts à activer pour chaque token, la disposition mémoire des poids experts sparses et les économies de calcul réalisées grâce au calcul conditionnel. Il aborde également des considérations pratiques pour déployer ces modèles sur du matériel grand public, notamment les goulots d'étranglement de bande passante mémoire et les stratégies de quantification. Pour les développeurs travaillant sur des moteurs d'inférence LLM ou optimisant le déploiement local de modèles, cela fournit des informations précieuses sur les rouages internes de l'un des frameworks d'inférence les plus populaires.
Une analyse approfondie de l'implémentation MoE dans llama.cpp pour Qwen3.6-35B-A3B, couvrant le routage, l'activation sparse et les compromis de performance.