Azure DatabricksのUnity Catalogを使えるようにするまでの手順です。
Azure Databricks公式Docを参照いただいたほうが確実かと思います。
あくまで私が作成した際の一例となります。
Azureにてワークスペース作成
1. リソースグループ作成
下記構築物はすべてこのRGに構築しました。
2. VNet構築
アドレス空間：10.0.0.0/22
サブネットをひとつだけ作成：dbw01-snet-back-test-jpe
3. NSG構築
私は作成しませんでした。
4. ワークスペースデプロイ
2.VNetで作成したVNetを選択し、そこに以下のようなサブネットを作成しました。
パブリックサブネット名：dbw01-snet-public-test-jpe
CIDR範囲：10.0.1.0/26
プライベートサブネット名：dbw01-snet-private-test-jpe
CIDR範囲：10.0.2.0/26
プライベートエンドポイント名：dbw01-pep-test-jpe
その他設定値割愛します。
アカウントコンソールに入れないとき
私は、ワークスペースにログインし、ワークスペース画面の右上のワークスペース名を押下しても、「アカウントを管理」ボタンが出てこない自体に陥りました。
公式DocのアカウントコンソールURLにアクセスしても下記エラーが出て入れませんでした。
選択されたユーザー アカウントは、テナント 'Microsoft Services' に存在しないため、そのテナントのアプリケーション '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d' にアクセスできません。最初に、アカウントをテナントの外部ユーザーとして追加してください。別のアカウントをお使いください。
ちなみに、下記条件は満たしていました。
- Azure Databricks Premiumプランである
- ワークスペースと同テナントのユーザーでログイン
- サブスクリプションの管理者ロールを付与されたユーザーでログイン
私の場合の原因は、Azure登録時のデフォルトのサブスクリプション配下にワークスペースを作成していたことかもしれません。
サブスクリプションを新たに作り、そのサブスクリプションの管理者ロールをユーザーに付与します。付与されたユーザーでログインするとアカウントコンソールにアクセスできるようになりました。
同じ事態に陥っている方の参考になれば幸いです。
Unity Catalogの設定
1. AzureマネージドIDの作成
ユーザー管理のマネージドIDを作ります。
AzureポータルでマネージドIDを開き、各種パラメータ入力します。
2. Azure Databricks用のアクセスコネクタの作成
マネージドIDに紐づくアクセスコネクタを作成します。
システム割り当てマネージドID：オフ
ユーザー割り当てマネージドID：任意の命名で指定
3. Azureストレージアカウントの作成
- 基本情報
- プライマリ：Blob StorageまたはAzure Data Lake Storage Gen2
- 詳細
- ほぼデフォルトで設定
- Unity Catalog用途の場合は階層型名前空間は有効にする
- ネットワーク
- ネットワークアクセス：すべてのネットワークから有効
- 選択した仮想ネットワークとIPアドレスという指定にする場合
- ワークスペース作成時に作成した仮想ネットワークを選択
- サブネット：パブリックエンドポイントを指定
- データ保護・暗号化
- すべてデフォルト設定
4. AzureストレージアカウントのIAM設定
ストレージアカウントの権限を先程のマネージドIDに付与します。
- ストレージアカウントのアクセス制御（IAM）画面でロール追加を押下
- ロールタブの職務ロールで「ストレージBLOBデータ共同作成者」を選択
- メンバータブのアクセスの割当先で、「マネージドID」を選択
- メンバーを選択するボタンを押下し、手順１で作成したマネージドIDを選択
- 設定画面最後まで進み、レビューと割当てボタンを押下
5. 資格情報の登録
- Azure Portal
- 前手順で作成したAzure Databricksアクセスコネクタを開き、概要⇨JSONビューを押下しリソースIDを控える
- 前手順で作成したマネージドIDを開き、概要⇨JSONビューを押下しリソースIDを控える
- Databricksワークスペースにログイン
- 左ペインからカタログ押下、上の外部データ押下
- 資格情報タブの「資格情報を作成」ボタンを押下する
- 前手順で控えたリソースIDをそれぞれ入力し、作成
6. 外部ロケーションの登録
- 外部ロケーションタブの「外部ロケーションを作成」ボタンを押下
- URL入力と前手順で作成した資格情報を選択
7. カタログの作成
カタログエクスプローラ画面のカタログ作成ボタン押下して、先ほど作成した外部ロケーションを設定し、その他必要事項を入力すれば、カタログの完成です。