はじめに

databricks CLI がversion 0.200から新しくなり、RestAPIなども扱えるようになっている。またSecretの設定方法などが変わったため、簡易的な設定方法をまとめてみました。

Install or Migration

はじめての方はこちらを参考に databricks CLIをPCにインストールしてください。

従来のDatabricks CLIからの移行の場合は、既存の databricks-cliをuninstallしてから実行する必要があります。(.databrickscfgファイルは残ります）

Databricks接続のための認証設定

新規インストールの場合、利用したいDatabricks HostやTokenなどを用いて認証設定を行います。Token以外の認証方法にも対応しております。（対応している認証方式）

また古いDatabricks CLIからMigrationした方は、従来設定した情報が残っておりますので、特に再設定は不要です。

ここでは、Personal Tokenを用いた設定をご紹介します。

対象のDatabricks Host-URLとPersonal Access Tokenを取得します。
Personal Access Tokenは、ユーザー設定画面から取得できます。

以下のコマンドを実行し、ホストとトークンを登録します。

Tokenを用いた認証設定

databricks configure --host <workspace-url> -t -p <some-unique-configuration-profile-name>

登録すると、以下のように .databrickscfg ファイルに登録されます。

.databrickscfg

[<some-unique-configuration-profile-name>]
host  = <workspace-url>
token = <personal-access-token>

Secret作成

1. Scopeの作成

最初にKey/Valueを登録するScopeというものを作成します。このScopeはフォルダーのようなもので、その中に複数のKeyを登録でき、グループ化することができます。プロジェクト毎にキーを分けて管理するなどに便利です。
作成方法は　databricks secrets create-scope SCOPE です。

scope作成例(openai scope)

$ databricks secrets create-scope openai

2. Key/Valueの作成

次にKey/Valueの作成をします。以下のように databricks secrets put-secret SCOPE KEY [flags] という形式で作成します。すると Valueを入力するプロンプトが表示されます。

Key/Value作成例

$ databricks secrets put-secret openai openai-api-key
✔ Enter your secrets value: ************************************█

以上で完了です。それ以外の使い方は、 databricks secrets -h で確認できます。

3. ノートブックでの呼び出し方

以下のようにdbutilsを使って呼び出せます。

key = dbutils.secrets.get(scope = "openai", key = "openai-api-key")