La complejidad cuadrática de los mecanismos de atención estándar ha sido durante mucho tiempo un cuello de botella para escalar modelos transformadores a secuencias largas. Esta encuesta explora las innovaciones clave que abordan este desafío: patrones de atención dispersa que limitan el cálculo a tokens relevantes, atención lineal que aproxima la matriz de atención, modelos de espacio de estados (SSM) que ofrecen alternativas recurrentes y arquitecturas híbridas que combinan estos enfoques. Cada método ofrece compensaciones distintas en términos de precisión, velocidad y uso de memoria. Por ejemplo, la atención dispersa sobresale en tareas con dependencias locales, mientras que los SSM proporcionan un rendimiento sólido en secuencias de largo alcance. Comprender estas arquitecturas es esencial para los ingenieros de IA que optimizan modelos para producción, ya que permiten ventanas de contexto más largas, menor latencia y costos de hardware reducidos. Este análisis proporciona una hoja de ruta para seleccionar la arquitectura adecuada según los requisitos de la tarea y las restricciones computacionales.
Una encuesta sobre arquitecturas de atención que superan la complejidad O(L²), cubriendo métodos dispersos, lineales, SSM e híbridos.