Cet article offre un aperçu structuré des composants architecturaux clés qui ont évolué du Transformer original aux LLM de pointe d'aujourd'hui comme LLaMA. Il couvre RoPE (Rotary Position Embedding) pour la perception relative des positions, RMSNorm pour la normalisation simplifiée, les fonctions d'activation SwiGLU, l'attention par requêtes groupées (GQA) pour une inférence efficace, et d'autres modules critiques. Chaque composant est expliqué en termes de motivation, de détails d'implémentation et d'impact sur la qualité et l'efficacité du modèle. Pour les ingénieurs et chercheurs travaillant sur l'entraînement ou l'optimisation d'inférence des LLM, cela sert de guide de référence pratique. Le contenu est intemporel et techniquement rigoureux, ce qui en fait une ressource précieuse pour la communauté du génie logiciel en IA.
Une plongée approfondie dans les cinq innovations architecturales clés – RoPE, RMSNorm, SwiGLU, GQA et plus – qui définissent les grands modèles de langage modernes.