RAGパイプラインは長い間、根本的な非効率性を抱えてきました。生データはデータレイクにありますが、ベクトルは別のストアにコピーする必要があります。ソースデータが更新されるたびに、再エンベディングと再同期のサイクルが発生し、運用オーバーヘッドと潜在的な陳腐化を引き起こします。Milvus 3.0のゼロコピーアーキテクチャは、ベクトル検索がS3やその他のデータレイクストレージのParquetファイルから直接読み取れるようにすることで、これを変えます。つまり、ベクトルインデックスは既存データの軽量レイヤーとなり、2番目のコピーではなくなります。即時の利点は、ストレージコストの削減、データガバナンスの簡素化、検索結果の鮮度向上です。本番RAGシステムを構築するチームにとって、複雑なETLパイプラインの必要性が減り、以前は複製コストが高すぎて扱えなかった大規模データセットへのクエリが可能になります。トレードオフは、オブジェクトストレージからベクトルを取得する必要があるため、クエリレイテンシが増加する可能性があることですが、多くのワークロードでは許容範囲です。このパターンは、コンピュートとストレージを分離し、ベクトル検索をデータレイク上のサービスとして扱うという広範な業界トレンドと一致しています。
Milvus 3.0はデータレイクから直接ベクトルを読み取り、RAGパイプラインの重複ストレージと同期ジョブを排除します。