RAG-Pipelines leiden seit langem unter einer grundlegenden Ineffizienz: Rohdaten liegen im Data Lake, aber Vektoren müssen in einen separaten Speicher kopiert werden. Jede Aktualisierung der Quelldaten löst einen erneuten Embedding- und Synchronisationszyklus aus, was betrieblichen Aufwand und potenzielle Veraltung verursacht. Die Zero-Copy-Architektur von Milvus 3.0 ändert dies, indem sie es der Vektorsuche ermöglicht, direkt aus Parquet-Dateien in S3 oder anderem Data-Lake-Speicher zu lesen. Das bedeutet, dass der Vektorindex zu einer leichten Schicht über vorhandenen Daten wird, nicht zu einer zweiten Kopie. Die unmittelbaren Vorteile sind geringere Speicherkosten, einfachere Datenverwaltung und aktuellere Suchergebnisse. Für Teams, die Produktions-RAG-Systeme aufbauen, reduziert dies die Notwendigkeit komplexer ETL-Pipelines und eröffnet die Möglichkeit, große Datensätze abzufragen, die zuvor zu teuer zum Duplizieren waren. Der Kompromiss ist eine potenzielle Erhöhung der Abfragelatenz, da Vektoren aus dem Objektspeicher abgerufen werden müssen, was für viele Workloads akzeptabel ist. Dieses Muster entspricht dem breiteren Branchentrend, Rechenleistung von Speicher zu trennen und Vektorsuche als Dienst über dem Data Lake zu behandeln.
Milvus 3.0 liest Vektoren direkt aus Data Lakes und eliminiert doppelten Speicher und Synchronisationsjobs in RAG-Pipelines.