Este artículo ofrece una visión general estructurada de los componentes arquitectónicos clave que han evolucionado desde el Transformer original hasta los LLM de vanguardia actuales como LLaMA. Cubre RoPE (Rotary Position Embedding) para la percepción de posición relativa, RMSNorm para la normalización simplificada, funciones de activación SwiGLU, Grouped Query Attention (GQA) para inferencia eficiente y otros módulos críticos. Cada componente se explica en términos de su motivación, detalles de implementación e impacto en la calidad y eficiencia del modelo. Para ingenieros e investigadores que trabajan en el entrenamiento u optimización de inferencia de LLM, esto sirve como una guía de referencia práctica. El contenido es perenne y técnicamente riguroso, lo que lo convierte en un recurso valioso para la comunidad de ingeniería de IA.
Una inmersión profunda en las cinco innovaciones arquitectónicas clave – RoPE, RMSNorm, SwiGLU, GQA y más – que definen los modelos de lenguaje grandes modernos.