La ingesta de datos sigue siendo uno de los temas más debatidos en la comunidad de ingeniería de datos. A pesar del auge de servicios gestionados como Fivetran y alternativas de código abierto como Airbyte, muchos equipos aún luchan por construir pipelines de ingesta confiables y escalables. Este artículo examina las razones principales: las complejidades de la evolución de esquemas, los límites de tasa de API y el desajuste entre configuraciones declarativas y fuentes de datos reales. Argumenta que ninguna herramienta única aborda completamente la diversidad de fuentes de datos y la necesidad de transformaciones personalizadas. Para los líderes de datos, esto significa invertir en una capa de ingesta flexible que combine las mejores herramientas con experiencia interna.
Un análisis profundo de por qué la ingesta de datos sigue siendo un desafío a pesar de Fivetran y Airbyte, con información para stacks de datos en producción.