L'ingestion de données reste l'un des sujets les plus débattus dans la communauté du data engineering. Malgré l'essor de services gérés comme Fivetran et d'alternatives open source comme Airbyte, de nombreuses équipes peinent encore à construire des pipelines d'ingestion fiables et évolutifs. Cet article examine les raisons principales : les complexités de l'évolution des schémas, les limites de débit des API et le décalage entre les configurations déclaratives et les sources de données réelles. Il soutient qu'aucun outil unique ne répond pleinement à la diversité des sources de données et au besoin de transformations personnalisées. Pour les responsables de données, cela signifie investir dans une couche d'ingestion flexible combinant les meilleurs outils avec une expertise interne.
Une analyse approfondie des raisons pour lesquelles l'ingestion de données reste un défi malgré Fivetran et Airbyte, avec des perspectives pour les stacks de données en production.