Databricks WebTerminalを有効化する

はじめに

Databricks AppsでSQL Warehouseを導入しようと思った際に、
SQLAlchemy + alembicでマイグレーションを実行する環境がどこかないかと思い探すと、WebTerminaなる機能があることを知りました。
ただ、初期状態だと有効化されていなかったので、有効化する方法をまとめます。

手順

以下手順はWorkspace管理者権限で実行しています。

1. Databricks Workspaceからユーザアイコンをクリック、設定を開く
   

2. 画面左側メニューからクラスター>汎用クラスター>Webターミナルをオフからオンに変更
   

使い方

Web Terminalはサーバレス環境では使用できません

1. クラスターから適当なクラスタをPersonal Computeで作成
   

2. ワークスペースから適当なPythonファイルを開く
   

3. 画面右上の'接続済み'をクリックし、作成したクラスタを選択
   

4. 表示からWebターミナルをクリックすると、Web Terminalが起動します
   

Web Terminal 初期状態

起動したターミナルで以下コマンドを実行すると、パス、Pythonのバージョン、パッケージ一覧が表示されます。
インスタンスには自動で自分のホームディレクトリ配下がマウントされているようです。
(alembic, SQLAlchemyは初期状態でインストールされていました。fastapiはなかったです。)

pwd
// /Workspace/Users/<username>

python --version
// Python 3.12.3

pip list
// Package    Version
// ---------- -------
// ...
// alembic 1.14.0
// ...
// SQLAlchemy 2.0.30
// ...

まとめ

Databricks WebTerminalについて、利用できるように設定してみました。

1. 設定と有効化

   • Workspace管理者権限で設定可能
   • 汎用クラスター設定から簡単に有効化できる

2. 利用条件と環境

   • サーバレス環境では利用不可
   • Personal Computeクラスターが必要

3. 初期環境の特徴

   • Python 3.12.3が標準搭載
   • alembic、SQLAlchemyなどの主要パッケージが事前インストール済み
   • ユーザーのホームディレクトリが自動マウント

参考

• Run shell commands in Databricks web terminal