大規模言語モデルの推論では、GPUメモリがボトルネックになることが多いですが、多くのエンジニアはメモリが実際にどこで消費されるのかを明確に把握していません。この深掘り解説では、単一GPUの容量を制限するメモリウォール、通信とメモリをトレードオフする分散並列戦略、KVキャッシュ管理の断片化を排除するPagedAttentionメカニズムの3層に分けて問題を分解します。
vLLMのPagedAttentionは特に注目に値します。オペレーティングシステムの仮想メモリページングの概念を借用し、アテンションのKVキャッシュを非連続なメモリブロックに格納できるようにします。これにより、一部のワークロードでは最大90%の無駄を削減し、バッチサイズを拡大してスループットとコスト効率を直接向上させます。
本番LLMサービスを運用するチームにとって、これらのメカニズムの理解は必須です。GPU選定、並列構成、サービングフレームワークの選択に影響します。モデルが成長するにつれて、メモリ需要とハードウェア供給のギャップは広がる一方であり、この知識の価値はますます高まっています。