はじめに

今回は

Databricks で作成したテーブルをFabric で利用する
Fabric で作成したテーブルをDatabricksで利用する
というユースケースを実施するための設定方法について具体的に紹介します。

habとなるAzure Data Lake Gen2（ASLS2）を用意する

①Azureポータルからhubとなるストレージアカウントをデプロイ

階層構造の名前は有効にしてください

②'hub'というコンテナを作成した後、'ext'というディレクトリを作成

Fabricとhubストレージを連携させる

①レイクハウスを作成

Lakehouseスキーマ(パブリックプレビュー)は有効にしてください

②レイクハウスの新しいスキーマショートカットでhubストレージを指定する

レイクハウスの[Tables]の３点リーダーから[新しいスキーマショートカット]を選択

[Azure Data Lake Gen2]を選択

新しい接続の作成を入力する

ADLS2アクセスURLの確認方法
ストレージアカウントの [エンドポイント] の'Data Lake Storage'から確認可能

'ext'ディレクトリを有効化し、[次へ]をクリック

[作成]をクリック

'ext'が外部スキーマショートカットとして作成される

Databricksとhubストレージを連携させる

①AzureポータルからAzure Databricks用のアクセスコネクタを作成する

Unity Catalog で Azure マネージド ID を使用してストレージにアクセスするの
「ステップ 1: Azure Databricks 用のアクセスコネクタを作成する」の「システム割り当てマネージド ID を使用する」の手順を実施する

②Azureポータルからコネクタにhubストレージへのアクセスを許可する

Unity Catalog で Azure マネージド ID を使用してストレージにアクセスするの「ステップ 2：マネージド ID にストレージアカウントへのアクセスを許可する」の手順を実施する

③Databricksから資格情報を作成する

Databricksにログインし、[カタログ] > [＋] > [資格情報を追加する]の順にクリック

新規のストレージ資格情報を追加する

	入力値
ストレージ資格情報 or サービス資格情報	ストレージ資格情報
資格情報名	任意の名前
アクセスコネクターID	①で作成したコネクタのリソースID（Azureポータルから確認可能）

作成後、作成した資格情報名をクリック

[権限] > [付与]の順にクリック

必要なユーザーに[ALL PRIVILEGES]を付与する

手順や必要な権限の参考
Azure Data Lake Storage Gen2 に接続するためのストレージ資格情報を作成する

④Databricksから外部ロケーションを追加する

Databricksにログインし、[カタログ] > [＋] > [外部ロケーションを追加]の順にクリック

新しい外部ロケーションを作成する

	入力値
外部ロケーション名	任意の名前
URL	abfss://ディレクトリ名（今回はhub）@ストレージアカウント名.dfs.windows.net
ストレージ資格情報	③で作成した資格情報を選択

URLの入力値について
本記事「Fabricとhubストレージを連携させる」の②で使用したストレージアカウントの [エンドポイント] と同様

手順や必要な権限の参考
クラウドストレージを Azure Databricks に接続するための外部の場所を作成する

作成後、作成した外部ロケーション名をクリック

[権限] > [付与]の順にクリック

必要なユーザーに[ALL PRIVILEGES]を付与する

⑤Databricksからカタログ、スキーマを新規作成

Databricksにログインし、[カタログ] > [＋] > [外部ロケーションを追加]の順にクリック

新規カタログを作成する

	入力値
カタログ名	任意の名前
タイプ	Standard
ストレージの場所	④で作成した外部ロケーションを選択

作成したカタログにスキーマを作成する

新規スキーマを作成する

	入力値
スキーマ名	任意の名前
ストレージの場所	空欄

カタログやスキーマのストレージの場所
スキーマのストレージの場所を空欄にするとカタログで指定したストレージが設定されます。Unity Catalogのマネージドストレージの仕組みについては下記を参照ください。
Unity Catalog のマネージドストレージの場所を指定する

おわりに

これで準備は整いました。
次から実際にテーブルの相互互換性を実施しましょう！

▽次の記事

▽前の記事