共有プレフィックス最適化は、LLM推論における冗長な計算を削減する重要な技術です。複数のリクエストがシステムプロンプトや数ショット例などの共通プレフィックスを共有する場合、そのプレフィックスのキー・バリュー（KV）キャッシュは一度計算すれば、複数のリクエスト間で再利用できます。本記事では、この最適化の背後にある中核原理を、vLLMやSGLangで実装されているバッチ間再利用と、同じバッチ内の複数リクエストがプレフィックスを共有するバッチ内シナリオを区別しながら解説します。分析では、アルゴリズムのトレードオフ、メモリ管理戦略、そして本番システムにこれらの最適化を統合する際にエンジニアが直面する実装上の課題をカバーしています。これらの技術を理解することは、高性能なLLMサービングインフラを構築するチームにとって重要であり、レイテンシ、スループット、コスト効率に直接影響します。また、プレフィックスキャッシングが連続バッチ処理やページドアテンションなどの他の最適化とどのように相互作用するかについても議論し、現代の推論エンジン設計の全体像を提供します。
共有プレフィックス最適化が、リクエスト間でKVキャッシュを再利用してLLM推論を高速化する仕組みを、vLLMやSGLangの実装を交えて解説します。