グループ化クエリアテンション（GQA）は、現代の大規模言語モデル（LLM）アーキテクチャにおける重要な革新であり、自己回帰推論中のKVキャッシュのメモリボトルネックに対処します。従来のマルチヘッドアテンション（MHA）は、各アテンションヘッドに個別のキー・バリューペアを保存するため、シーケンス長とモデルサイズに比例してメモリが増加します。GQAは、クエリヘッドをグループ化し、グループごとに1つのキー・バリューヘッドを共有することで、メモリ使用量を劇的に削減しつつ、モデルの品質を維持します。この記事では、GQAの動機、マルチクエリアテンション（MQA）との関係、推論速度とスケーラビリティへの実践的な影響を説明します。LLMのデプロイや最適化に携わるエンジニアにとって、GQAの理解は効率的なシステム構築に不可欠です。
グループ化クエリアテンション（GQA）は、LLMのKVキャッシュメモリを削減し、推論を高速化・スケーラブルにする技術です。