Databricksに外部リネージを持ち込む

Posted at 2025-06-28

こちらのアップデートです。

独自のデータリネージを持ち込む(パブリックプレビュー)
データリネージには、Databricks 外部で実行されるアセットやワークフローも含められるようになりました。Databricks 外でワークロード（たとえば、ファーストマイルの ETL やラストマイルの BI）を実行している場合でも、Unity Catalog を使えば、Databricks が自動的に取得するデータリネージに加えて、外部のリネージメタデータを追加することができ、Unity Catalog 上でエンドツーエンドのリネージビューを得ることができます。これは、Unity Catalog に取り込まれる前にデータがどこから来たのか（例：Salesforce や MySQL）や、Unity Catalog 外でどこでデータが消費されているのか（例：Tableau や PowerBI）を把握したい場合に有用です。

この外部リネージメタデータ機能はパブリックプレビューです。独自のデータリネージを持ち込むをご覧ください。

Unity Catalogの外部リネージ機能

Unity Catalogの外部リネージ機能を使用すると、Databricks外部で実行されるワークフローやシステムのデータリネージを手動で追加できます。この機能により、SalesforceやMySQLなどの外部データソースから、TableauやPowerBIなどのBIツールまで、エンドツーエンドのデータフローを可視化できます。外部メタデータオブジェクトを作成し、Unity Catalogのテーブルやモデルとのリネージ関係を設定することで、データの完全なライフサイクルを把握できます。現在パブリックプレビュー段階にあり、Catalog Explorer UIまたはREST APIを通じて利用可能です。これにより、データガバナンスの強化と、より包括的なデータ管理が実現できます。

機能概要

Unity Catalogの外部リネージ機能は、Databricks環境外で実行されるデータ処理やワークフローを含む、包括的なデータリネージの可視化を実現する機能です。

通常、Unity CatalogはDatabricks内で実行されるクエリ間のデータリネージを自動的にキャプチャしますが、多くの組織では以下のような外部システムも利用しています：

データソース側 (ファーストマイル)

Salesforce
MySQL
PostgreSQL
その他のSaaSアプリケーション

データ消費側 (ラストマイル)

Tableau
Power BI
その他のBIツール

外部リネージ機能を使用することで、これらの外部システムとDatabricks内のデータアセットとの関係を明示的に定義し、完全なデータフローを可視化できます。

外部リネージの構成要素

要素	説明
外部メタデータオブジェクト	外部システム内のエンティティ (例: Tableauダッシュボード) を表すオブジェクト
リネージ関係	外部メタデータオブジェクトとUnity Catalogオブジェクト間の接続
システムタイプ	外部システムの種類 (Tableau、PowerBI、カスタムなど)
エンティティタイプ	オブジェクトの種類 (テーブル、ダッシュボードなど)

メリット、嬉しさ

1. エンドツーエンドの可視性

外部リネージ機能により、データの完全なライフサイクルを把握できます。データがどこから来て、どのように変換され、最終的にどこで使用されているかを一目で確認できます。

2. 影響分析の精度向上

変更前の影響確認

ソースシステムの変更がDatabricksを経由してBIダッシュボードにどう影響するか
テーブルスキーマの変更が下流のレポートに与える影響

3. コンプライアンスとガバナンスの強化

規制要件への対応において、データの完全な流れを証明できることは重要です。外部リネージにより：

データの出所と行き先を明確に文書化
監査時の説明責任を果たしやすくなる
データ品質の問題の根本原因を特定しやすくなる

4. チーム間のコラボレーション向上

データエンジニア、アナリスト、ビジネスユーザー間で共通の理解を持てるようになります。

使い方の流れ

ステップ1: 必要な権限の確認

まず、以下の権限が付与されていることを確認します：

タスク	必要な権限
外部メタデータオブジェクトの作成	メタストアに対する`CREATE EXTERNAL METADATA`権限
リネージ関係の指定	外部メタデータオブジェクトに対する`MODIFY`権限
ダウンストリームリネージの指定	Unity Catalogオブジェクトに対する読み取り権限 (例: `SELECT`)
アップストリームリネージの指定	Unity Catalogオブジェクトに対する書き込み権限 (例: `MODIFY`)

ステップ2: 外部メタデータオブジェクトの作成

Catalog Explorer UIを使用する場合：

Databricksワークスペースで「カタログ」をクリック
「外部メタデータ」ボタンをクリック
「外部メタデータ」タブに移動し、「外部メタデータの作成」をクリック
以下の情報を入力：

必須項目：

名前: 分かりやすい名前 (スペース不可)
システムタイプ: 外部システムを選択 (Tableau、PowerBIなど)
エンティティタイプ: オブジェクトの種類 (テーブル、ダッシュボードなど)

オプション項目：

URL: 外部アセットへのリンク
説明: オブジェクトの説明
列: 列レベルのマッピング用の列名
プロパティ: JSONキー値ペアとして追加のメタデータ

以下のように外部データベースの体で外部メタデータを作成します。

JSONを表示ボタンを押すとJSON定義を確認できます。

外部メタデータが作成できたので、Unity Catalogオブジェクトとの依存関係(リネージ)を定義します。

ステップ3: リネージ関係の作成

作成した外部メタデータオブジェクトを選択
「リネージ関係の作成」をクリック
上流または下流の関係を選択
関連付けるオブジェクトタイプを選択：
- テーブル: Unity Catalogのテーブル
- モデル: MLモデル
- パス: ボリュームまたは外部ロケーション
- 外部メタデータ: 他の外部メタデータオブジェクト
ここでは、下流の関係を設定します。

　テーブルに紐づけます。

ここでもJSON定義を確認できます。

作成をクリックします。

これでリネージを定義できました。

リネージグラフを表示で視覚的にも確認できます。
(オプション) 詳細設定で列マッピングや追加メタデータを設定