新たな分析ニーズが発生した場合、データはアップデートされなければならないが、データが相互に密接に関連する複雑な複数プロジェクトのデータパイプラインでは、これらのアップデートが意図しない結果を招くことが少なくない。小さな微調整でも、ダッシュボードの数値がわずかにずれたり、プロジェクトが完全に壊れたりといった問題を引き起こす可能性がある。
しかし、データ間のつながりが不明な場合、こうした影響が発生する前に可視化することや、変更後にその根本原因を理解することは、ほぼ不可能になります。 そこで登場するのがデータリネージである。
データリネージ（Data Lineage）とは？
データリネージとは、データセットやプロジェクトの上流と下流の両方で、特定の列に適用されたすべての変換を表すものです。 これは、列のソース、変換、変換先の詳細を示す、データのあらゆる紆余曲折を示すマップのようなものだと考えてください。 適切なリネージがあれば、データチームはデータ関連の問題を根本原因まで遡ることができ、変更が下流のシステムに与える潜在的な影響を評価することができる。
根本原因分析（Root Cause Analysis）
データにエラーや不一致が発生した場合、根本原因分析を行うことは、原因を突き止めるために非常に重要です。 データリネージがなければ、問題の発生源を特定することは、干し草の山から針を探すようなものです。 エラーは誤ったデータの取り込みに起因するのか？ 誤った変換や下流システムの問題が原因なのか？
データリネージは、列のデータがどのように変更されたかを正確に示す視覚的なマップを提供し、問題が発生した可能性のある場所をハイライトすることで、このプロセスを簡素化します。 問題をその系譜まで遡ることで、データパイプラインの欠陥ステップを素早く切り分け、時間を節約し、将来のエラーを防ぐことができます。
重要なビジネスレポートに不正確な数値が含まれており、チームがその原因を突き止める必要があるとします。 データリネージを使用すると、最終レポートから各変換・集計ステップを経て、最初のデータソースまでデータを遡ることができます。 これにより、問題がデータ収集にあったのか、計算が間違っていたのか、変換ルールに誤りがあったのかを特定することができ、問題を根本から解決することができます。
インパクト分析（Impact Analysis）
データパイプラインに変更を加える場合 - データセットの変更、データの変換、モデルの更新など - それらの変更が下流のアプリケーションにどのような影響を与えるかを理解することは非常に重要です。 そこで、インパクト分析が重要になります。
データリネージにより、どのシステム、レポート、またはモデルがデータセット内の特定の列に依存しているかを明確に把握できます。 これらの依存関係を理解することで、変更によって混乱や不正確さが発生する可能性を予測することができます。
たとえば、財務データセットに新しい地域の数値を追加する必要がある場合、そのデータセットがレポートやダッシュボードのために複数のプロジェクトで使用されている場合、その変更が下流のソリューションに影響を与える可能性が高くなります。 データリネージを使用すると、この列が関連付けられているすべての下流のプロジェクトやモデルを視覚化できます。これにより、チームは、問題や混乱が発生する前に、レポートの更新、モデルの調整、利害関係者への通知など、先手を打った行動を取ることができます。
データリネージ、Dataikuに登場
レシピ作成からデータカタログなど、Dataiku内の多くの場所からデータの系譜にアクセスできるようになりました。
Dataikuのデータリネージにより、根本原因分析（Root Cause Analysis）やインパクト分析（Impact Analysis）を容易に実施できます
近年、Dataikuは、データ品質機能のスイートをリリースしました。 また、データリネージ機能により、データ品質ルールの失敗の原因を診断し、トラブルシューティングを迅速に行うことができます。
データリネージにより、Dataikuはデータに対する観測性を高め、インサイトが確かな基盤の上に構築されていることを保証します。
データリネージの実際
データ・リネージがどのようにデータ・ワークフローを効率化するか、ご興味がおありですか？ ビデオでリアルタイムにその仕組みを学び、データの可視性と管理を改善する方法をご覧ください：ビデオを見る