こちらの記事を書いて3年経ってました。

Databricks Connectは、Visual Studio Code、PyCharm 、RStudio Desktop、IntelliJ IDEA 、ノートブックサーバー、その他のカスタムアプリケーションなどの一般的な IDEからDatabricksの計算資源に接続するためのDatabricksランタイム用のクライアントライブラリです。

前回はPyCharmで接続しましたが、今回はVS Codeで接続します。

設定の流れ

接続先のDatabricksワークスペース

ワークスペースURLのコピー
パーソナルアクセストークンの取得

ローカルマシン

VS Codeのインストール
Python仮想環境の有効化
Databricks Connectのインストール

ローカルマシンでの作業

OSに応じたVS Codeをインストールください。

私はVS Codeに不慣れなので、こちらの記事を参考にさせていただきました。

Python仮想環境の有効化

Databricks Connectのライブラリをインストールするので仮想環境を作成して有効化します。

Pythonインタプリタを選択して仮想環境を作成、有効化します。

Databricks Connectのインストール

接続先にサーバレスコンピュートを指定できるようになっているのでこちらを試します。VS Codeのターミナルで以下を実行します。サーバレスに接続するにはバージョン16.1以降が必要です。

pip3 install --upgrade "databricks-connect==16.1.0"

接続確認

serverless = Trueを指定することで、クラスターIDを指定することなしにサーバレスコンピュートに接続できます。

from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.remote(
host       = "https://<Databricksワークスペースのホスト名>/",
token      = "<パーソナルアクセストークン>",
serverless = True
).getOrCreate()

spark.sql("SELECT 1").show()

.venvtakaaki.yayoi@DRYC7D19F3 vscode % /Users/takaaki.yayoi/venv/vscode/.venv/bin/python /Users/takaaki.yayoi/venv/conncet.py
+---+
|  1|
+---+
|  1|
+---+

以下のようにUnity Catalog配下のテーブルにもアクセスできます。

from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.remote(
host       = "https://<Databricksワークスペースのホスト名>/",
token      = "<パーソナルアクセストークン>",
serverless = True
).getOrCreate()

spark.sql("SELECT * FROM samples.nyctaxi.trips LIMIT 10").show()

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル