この記事は以下の記事の補足記事となります。
【総集編】Microsoft Fabric と Databricksをつなぐデータ総合運用術 -hubストレージにDelta Lake形式で保管する-
YouTubeのアーカイブでも、9分45秒~あたりからこの記事についての概要を解説しています。
はじめに
今回は
- Databricks で作成したテーブルをFabric で利用する
-
Fabric で作成したテーブルをDatabricksで利用する
というユースケースを実施するための設定方法について具体的に紹介します。
habとなるAzure Data Lake Gen2（ASLS2）を用意する
①Azureポータルからhubとなるストレージアカウントをデプロイ
階層構造の名前は有効にしてください
②'hub'というコンテナを作成した後、'ext'というディレクトリを作成
③ 操作者に対してADLSのblobストレージ共同作成者を付与
Fabricとhubストレージを連携させる
①レイクハウスを作成
Lakehouseスキーマ(パブリックプレビュー)は有効にしてください
②レイクハウスの新しいスキーマショートカットでhubストレージを指定する
レイクハウスの[Tables]の３点リーダーから[新しいスキーマショートカット]を選択
[Azure Data Lake Gen2]を選択
新しい接続の作成を入力する
ADLS2アクセスURLの確認方法
ストレージアカウントの [エンドポイント] の'Data Lake Storage'から確認可能
'ext'ディレクトリを有効化し、[次へ]をクリック
※この後このフォルダの配下にdelta lake（テーブル）を配置していきます。複数階層あるフォルダを指定してしまうとdelta lakeがうまくテーブルとして認識されないので注意です。
[作成]をクリック
'ext'が外部スキーマショートカットとして作成される
Databricksとhubストレージを連携させる
①AzureポータルからAzure Databricks用のアクセスコネクタを作成する
Unity Catalog で Azure マネージド ID を使用してストレージにアクセスするの
「ステップ 1: Azure Databricks 用のアクセス コネクタを作成する」の「システム割り当てマネージド ID を使用する」の手順を実施する
②Azureポータルからコネクタにhubストレージへのアクセスを許可する
Unity Catalog で Azure マネージド ID を使用してストレージにアクセスするの「ステップ 2：マネージド ID にストレージ アカウントへのアクセスを許可する」の手順を実施する
③Databricksから資格情報を作成する
Databricksにログインし、[カタログ] > [＋] > [資格情報を追加する]の順にクリック
新規のストレージ資格情報を追加する
| 入力値 | |
|---|---|
| ストレージ資格情報 or サービス資格情報 | ストレージ資格情報 |
| 資格情報名 | 任意の名前 |
| アクセスコネクターID | ①で作成したコネクタのリソースID（Azureポータルから確認可能） |
作成後、作成した資格情報名をクリック
[権限] > [付与]の順にクリック
必要なユーザーに[ALL PRIVILEGES]を付与する
④Databricksから外部ロケーションを追加する
Databricksにログインし、[カタログ] > [＋] > [外部ロケーションを追加]の順にクリック
新しい外部ロケーションを作成する
| 入力値 | |
|---|---|
| 外部ロケーション名 | 任意の名前 |
| URL | abfss://ディレクトリ名（今回はhub）@ストレージアカウント名.dfs.windows.net |
| ストレージ資格情報 | ③で作成した資格情報を選択 |
URLの入力値について
本記事「Fabricとhubストレージを連携させる」の②で使用したストレージアカウントの [エンドポイント] と同様
手順や必要な権限の参考
クラウド ストレージを Azure Databricks に接続するための外部の場所を作成する
作成後、作成した外部ロケーション名をクリック
[権限] > [付与]の順にクリック
必要なユーザーに[ALL PRIVILEGES]を付与する
⑤Databricksからカタログ、スキーマを新規作成
Databricksにログインし、[カタログ] > [＋] > [外部ロケーションを追加]の順にクリック
新規カタログを作成する
| 入力値 | |
|---|---|
| カタログ名 | 任意の名前 |
| タイプ | Standard |
| ストレージの場所 | ④で作成した外部ロケーションを選択 |
作成したカタログにスキーマを作成する
新規スキーマを作成する
| 入力値 | |
|---|---|
| スキーマ名 | 任意の名前 |
| ストレージの場所 | 空欄 |
カタログやスキーマのストレージの場所
スキーマのストレージの場所を空欄にするとカタログで指定したストレージが設定されます。Unity Catalogのマネージドストレージの仕組みについては下記を参照ください。
Unity Catalog のマネージド ストレージの場所を指定する
おわりに
これで準備は整いました。
次から実際にテーブルの相互互換性を実施しましょう！
▽次の記事
▽前の記事
FabricやDatabricksについて学べる勉強会を毎月開催しています！
次回イベント欄から直近のMicrosoft Data Analytics Day(Online) 勉強会ページ移動後、申し込み可能です！