Azure Key Vaultに格納されたシークレットを利用してAzure DatabricksからBlob Storageへアクセス

概要

Storageのアクセス情報をAzureDatabricksのNotebooks上に記載してアクセスするのではなく、AzureKeyVaultを利用してアクセスしてみたいと思います。

必要なリソース

• StorageAccountとBlobコンテナー
• AzureDatabricks
• AzureKeyVault

#手順

blobコンテナーの作成

• 作成したStorageAccountの画面に移動し、[データストレージ]欄の[コンテナー]を選択します。[+コンテナー]を選択し、コンテナー名を入力します。
  

• コンテナー内にテスト用のテキストファイルをアップロードしておきます。
  

• [セキュリティとネットワーク]の下にある[アクセスキー]を選択します。[StorageAccount名]と[key1のキー]情報をメモしておきます。
  ※キーの情報は、[キーの表示]をクリックすると表示されます。
  

AzureKeyVaultにシークレットを追加

• 作成したキーコンテナーの画面に移動し、[設定]欄から[シークレット]を選択します。[+生成/インポート]を選択します。
  

• [シークレットの作成]画面で、以下の情報を指定します。残りの値はデフォルトのまま使用します。
  ※　対象StorageAccountキーのフレンドリ名はメモしておきます。

  • アップロードオプション：手動
  • 名前：対象StorageAccountキーのフレンドリ名
  • 値：先程コピーした対象StorageAccountのKey1の値
    

• [設定]欄から[プロパティ]を選択します。[コンテナーの URI]と[リソース ID]をメモしておきます。
  

AzureDatabricksにシークレットスコープを作成

• 作成したAzureDatabricksのワークスペースを起動します。ワークスペースが別ウィンドウで開かれたら、URLの末尾に[#secrets/createScope]を追加します。

• [Scope Name]を入力し、メモしておいた[コンテナーの URI]と[リソース ID]を入力します。
  ※ Scope Nameはメモしておきます。
  

• AzureDatabricksワークスペースのホームページで[New Cluster]を選択します。[Cluster Name]を入力し、クラスターを作成します。
  

• AzureDatabricksワークスペースのホームページで[New Notebook]を選択します。
  

• Notebook名を入力し、言語をpythonに設定します。加えて、先ほど作成したクラスターを設定します。
  

• 次のコマンドを実行して、コンテナーにマウントします。以下の値は変更してください。

  • your-container-name
    • StorageAccountに作成したコンテナ名
  • your-storage-account-name
    • 作成したStorageAccount名
  • mount-name
    • 任意で指定したmount-nameを使用してディレクトリが作成されます。
  • config-key
    • fs.azure.account.key.[your-storage-account-name].blob.core.windows.net" または、"fs.azure.sas.[your-container-name].[your-storage-account-name].blob.core.windows.net"を選択します。
  • scope-name
    • Databricksで作成したシークレットスコープの名前
  • key-name
    • AzureKeyVault内のStorageAccountキー用に作成したシークレットの名前

dbutils.fs.mount(
source = "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

• BlobStorageコンテナー内のテキストファイルをデータフレームに読み込みます。

df = spark.read.text("/mnt/<指定のmount-name>/<コンテナ内のfile-name>")

• ファイルの内容を表示します。

df.show()

• マウントを解除します。

dbutils.fs.unmount("/mnt/<指定のmount-name>")