標準的な注意機構の二次複雑性は、トランスフォーマーモデルを長いシーケンスにスケーリングする際の長年のボトルネックでした。このサーベイでは、この課題に取り組む主要な革新を探ります：関連トークンに計算を制限するスパース注意、注意行列を近似する線形注意、リカレントな代替手段を提供する状態空間モデル（SSM）、およびこれらのアプローチを組み合わせたハイブリッドアーキテクチャです。各手法は、精度、速度、メモリ使用量の点で異なるトレードオフを提供します。例えば、スパース注意は局所的な依存関係を持つタスクで優れており、SSMは長距離シーケンスで強力なパフォーマンスを発揮します。これらのアーキテクチャを理解することは、モデルを本番環境に最適化するAIエンジニアにとって不可欠であり、より長いコンテキストウィンドウ、低レイテンシ、およびハードウェアコストの削減を可能にします。この分析は、タスク要件と計算制約に基づいて適切なアーキテクチャを選択するためのロードマップを提供します。
O(L²) の複雑さを克服する注意機構アーキテクチャのサーベイ。スパース、線形、SSM、ハイブリッド手法を網羅。