Grouped-Query Attention (GQA) ist eine entscheidende Innovation in der Architektur moderner großer Sprachmodelle (LLMs), die den Speicherengpass von KV-Caches während der autoregressiven Inferenz adressiert. Traditionelle Multi-Head Attention (MHA) speichert separate Schlüssel-Wert-Paare für jeden Aufmerksamkeitskopf, was zu linearem Speicherwachstum mit Sequenzlänge und Modellgröße führt. GQA reduziert dies, indem es Abfrageköpfe gruppiert und einen einzigen Schlüssel-Wert-Kopf pro Gruppe teilt, wodurch der Speicherverbrauch drastisch reduziert wird, während die Modellqualität erhalten bleibt. Dieser Artikel erklärt die Motivation hinter GQA, seine Beziehung zur Multi-Query Attention (MQA) und seine praktischen Auswirkungen auf Inferenzgeschwindigkeit und Skalierbarkeit. Für Ingenieure, die an der Bereitstellung oder Optimierung von LLMs arbeiten, ist das Verständnis von GQA für den Aufbau effizienter Systeme unerlässlich.
Grouped-Query Attention (GQA) reduziert den KV-Cache-Speicher in LLMs und ermöglicht schnellere und skalierbarere Inferenz.