概要

Storageのアクセス情報をAzureDatabricksのNotebooks上に記載してアクセスするのではなく、AzureKeyVaultを利用してアクセスしてみたいと思います。

必要なリソース

StorageAccountとBlobコンテナー
AzureDatabricks
AzureKeyVault

#手順

blobコンテナーの作成

作成したStorageAccountの画面に移動し、[データストレージ]欄の[コンテナー]を選択します。[+コンテナー]を選択し、コンテナー名を入力します。
コンテナー内にテスト用のテキストファイルをアップロードしておきます。
[セキュリティとネットワーク]の下にある[アクセスキー]を選択します。[StorageAccount名]と[key1のキー]情報をメモしておきます。
※キーの情報は、[キーの表示]をクリックすると表示されます。

AzureKeyVaultにシークレットを追加

作成したキーコンテナーの画面に移動し、[設定]欄から[シークレット]を選択します。[+生成/インポート]を選択します。
[シークレットの作成]画面で、以下の情報を指定します。残りの値はデフォルトのまま使用します。
※　対象StorageAccountキーのフレンドリ名はメモしておきます。
- アップロードオプション：手動
- 名前：対象StorageAccountキーのフレンドリ名
- 値：先程コピーした対象StorageAccountのKey1の値
[設定]欄から[プロパティ]を選択します。[コンテナーの URI]と[リソース ID]をメモしておきます。

AzureDatabricksにシークレットスコープを作成

作成したAzureDatabricksのワークスペースを起動します。ワークスペースが別ウィンドウで開かれたら、URLの末尾に[#secrets/createScope]を追加します。
[Scope Name]を入力し、メモしておいた[コンテナーの URI]と[リソース ID]を入力します。
※ Scope Nameはメモしておきます。
AzureDatabricksワークスペースのホームページで[New Cluster]を選択します。[Cluster Name]を入力し、クラスターを作成します。
AzureDatabricksワークスペースのホームページで[New Notebook]を選択します。
Notebook名を入力し、言語をpythonに設定します。加えて、先ほど作成したクラスターを設定します。
次のコマンドを実行して、コンテナーにマウントします。以下の値は変更してください。
- your-container-name
  - StorageAccountに作成したコンテナ名
- your-storage-account-name
  - 作成したStorageAccount名
- mount-name
  - 任意で指定したmount-nameを使用してディレクトリが作成されます。
- config-key
  - fs.azure.account.key.[your-storage-account-name].blob.core.windows.net" または、"fs.azure.sas.[your-container-name].[your-storage-account-name].blob.core.windows.net"を選択します。
- scope-name
  - Databricksで作成したシークレットスコープの名前
- key-name
  - AzureKeyVault内のStorageAccountキー用に作成したシークレットの名前

dbutils.fs.mount(
source = "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

BlobStorageコンテナー内のテキストファイルをデータフレームに読み込みます。

df = spark.read.text("/mnt/<指定のmount-name>/<コンテナ内のfile-name>")

ファイルの内容を表示します。

df.show()

マウントを解除します。

dbutils.fs.unmount("/mnt/<指定のmount-name>")