Los pipelines RAG han sufrido durante mucho tiempo una ineficiencia fundamental: los datos brutos viven en un data lake, pero los vectores deben copiarse en un almacenamiento separado. Cada actualización de los datos fuente desencadena un ciclo de re-embedding y re-sincronización, creando sobrecarga operativa y posible obsolescencia. La arquitectura zero-copy de Milvus 3.0 cambia esto al permitir que la búsqueda vectorial lea directamente desde archivos Parquet en S3 u otro almacenamiento de data lake. Esto significa que el índice vectorial se convierte en una capa ligera sobre los datos existentes, no en una segunda copia. Los beneficios inmediatos son menores costos de almacenamiento, gobernanza de datos más simple y resultados de búsqueda más frescos. Para equipos que construyen sistemas RAG en producción, esto reduce la necesidad de pipelines ETL complejos y abre la puerta a consultar grandes conjuntos de datos que antes eran demasiado costosos de duplicar. La compensación es una posible latencia de consulta mayor, ya que los vectores deben obtenerse del almacenamiento de objetos, pero para muchas cargas de trabajo esto es aceptable. Este patrón se alinea con la tendencia más amplia de la industria hacia separar cómputo de almacenamiento y tratar la búsqueda vectorial como un servicio sobre el data lake.
Milvus 3.0 lee vectores directamente desde data lakes, eliminando almacenamiento duplicado y trabajos de sincronización en pipelines RAG.