Databricks CLIを複数のワークスペースで利用するための手動設定と使用例

はじめに

Databricks CLIを複数のワークスペースで利用するための手動設定方法と利用例をまとめます
databricks configure --token コマンドでうまく設定できないときにも読んでください

事前準備

➀databricks-cli をインストールする

$ pip install databricks-cli

➁トークンを用意する

Databricks CLIを利用したいワークスペースで
「設定」→「ユーザー設定」→「Access tokens」タブからトークンを生成

公式ドキュメントの解説

Databricks CLI | Databricks on AWS

ここで紹介されている databricks configure --token コマンドを使って、指示通りに設定すればよいです
、、、が、私が実行したときは、何度やっても登録できませんでした。

databricks configure --token コマンドが行っていることは
ホームディレクトリの .databrickscfg ファイルの設定のみのようなので、
手動で .databrickscfg ファイルの設定を行います。

.databrickscfg ファイルの手動設定

vim コマンドかテキストエディタで下記の通り、値を設定し、ホームディレクトリに保存します
ここでは2つのワークスペースを設定します

[DEFAULT]
host = https://adb-0000000000000000.00.azuredatabricks.net/
jobs-api-version = 2.0
token = 0000000000000aaaaaaaaaaaaaaa1111111111bbbbbb

[dbw-second]
host = https://adb-1111111111111111.11.azuredatabricks.net/
jobs-api-version = 2.0
token = 0000000000000aaaaaaaaaaaaaaa22222222222cccccc

補足

• 1つめのワークスペースは [DEFAULT] にします
  • --profile オプションを付けずにコマンドを実行した時、そのワークスペースが優先されます
• [dbw-second] に指定した値を使って異なるワークスペースに対してCLIを実行できるようになります
  • 短めの名前にしておくとよいです
• host は Azure Databricks のアドレスなので、環境が異なる場合は適宜変更してください
• token はワークスペースで発行したものを貼り付け

Databricks CLIを使ってみる

--profile オプションを付けないときはデフォルトワークスペースに対して実行される

$ databricks secrets list-scopes

Scope                  Backend         KeyVault URL
---------------------  --------------  ----------------------------------------
dwh-first                 DATABRICKS      N/A

--profile オプションを付けたときはそのワークスペースに対して実行される

$ databricks secrets list-scopes --profile dbw-second

Scope                  Backend         KeyVault URL
---------------------  --------------  ----------------------------------------
dwh-second                 DATABRICKS      N/A

作成済みの profile を知りたいときは👇コマンド

$ grep -E "\[.+\]" ~/.databrickscfg