データインジェスチョンは、データエンジニアリングコミュニティで最も議論されているトピックの一つです。FivetranのようなマネージドサービスやAirbyteのようなオープンソースの代替手段が登場したにもかかわらず、多くのチームは信頼性が高くスケーラブルなインジェスチョンパイプラインの構築に苦労しています。この記事では、スキーマ進化の複雑さ、APIレート制限、宣言的設定と実際のデータソースのミスマッチなど、主要な理由を検証します。単一のツールではデータソースの多様性とカスタム変換の必要性を完全には満たせないと主張しています。データリーダーにとっては、ベストオブブリードのツールと社内の専門知識を組み合わせた柔軟なインジェスチョンレイヤーへの投資が重要です。
FivetranやAirbyteが存在するにもかかわらず、データインジェスチョンが依然として課題である理由を深掘りします。