はじめに
databricks CLI がversion 0.200から新しくなり、RestAPIなども扱えるようになっている。またSecretの設定方法などが変わったため、簡易的な設定方法をまとめてみました。
Install or Migration
はじめての方はこちらを参考に databricks CLIをPCにインストールしてください。
従来のDatabricks CLIからの移行の場合は、既存の databricks-cliをuninstallしてから実行する必要があります。(.databrickscfgファイルは残ります）
Databricks接続のための認証設定
新規インストールの場合、利用したいDatabricks HostやTokenなどを用いて認証設定を行います。Token以外の認証方法にも対応しております。（対応している認証方式）
また古いDatabricks CLIからMigrationした方は、従来設定した情報が残っておりますので、特に再設定は不要です。
ここでは、Personal Tokenを用いた設定をご紹介します。
対象のDatabricks Host-URLとPersonal Access Tokenを取得します。
Personal Access Tokenは、ユーザー設定画面から取得できます。
以下のコマンドを実行し、ホストとトークンを登録します。
databricks configure --host <workspace-url> -t -p <some-unique-configuration-profile-name>
登録すると、以下のように .databrickscfg ファイルに登録されます。
[<some-unique-configuration-profile-name>]
host = <workspace-url>
token = <personal-access-token>
Secret作成
1. Scopeの作成
最初にKey/Valueを登録するScopeというものを作成します。このScopeはフォルダーのようなもので、その中に複数のKeyを登録でき、グループ化することができます。プロジェクト毎にキーを分けて管理するなどに便利です。
作成方法は databricks secrets create-scope SCOPE です。
$ databricks secrets create-scope openai
2. Key/Valueの作成
次にKey/Valueの作成をします。以下のように databricks secrets put-secret SCOPE KEY [flags] という形式で作成します。すると Valueを入力するプロンプトが表示されます。
$ databricks secrets put-secret openai openai-api-key
✔ Enter your secrets value: ************************************█
以上で完了です。それ以外の使い方は、 databricks secrets -h で確認できます。
3. ノートブックでの呼び出し方
以下のようにdbutilsを使って呼び出せます。
key = dbutils.secrets.get(scope = "openai", key = "openai-api-key")