はじめに
Databricksでは基本的にNotebook baseでの開発を中心としており、ローカルのIDEでの開発という観点では。。。という感じでした。これまでにもDatabricks Connectやdbxというものがありましたが、どちらかというとCI/CDを意識したものでした。この度Databricks for Visual Studio Codeが発表されましたので、早速試してみたいと思います。
こちらのマニュアルを参考にしております。詳細はマニュアルをご覧ください。
https://docs.databricks.com/dev-tools/vscode-ext.html
動画で確認したい方はこちらをご覧ください。
https://www.youtube.com/watch?v=jAXxViBI3Ho
どんな事ができるのか？
-
Visual Studio Codeで開発したローカルコードをリモートワークスペースのコードと同期させることができます。
-
Visual Studio Codeで開発したローカルのPythonコードファイルを、リモートワークスペースのDatabricksクラスタ上で実行します。
-
Visual Studio Code からローカルの Python コードファイル (.py) および Python ノートブック (.py と .ipynb) を、リモートワークスペース内の自動化された Databricks ジョブとして実行します。
利用要件
利用するには以下の環境条件を満たす必要があります。
-
Databricks Workspace : (詳細はこちら)
- Clusterが作成されていること (SQLWarehouseはサポートされておりません）
- Databricks Reposが使える事 (同期するためのRepositoryを作成)
- Admin Consoleから、Files in Reposを有効にする
-
Personal Access Tokenを取得 (取得方法)
-
Local開発環境 (詳細はこちら)
- Visual Studio Code version 1.69.1 or higher.
- Visual Studio Code must be configured for Python coding, including availability of a Python interpreter.
- A Databricks CLI & configuration profile(setupはこちら)
同期するためのWorkspace Repository作成
VSCode上で開発したコードを同期するためのRepositoryを作成します。こちらのリポジトリはRemote Git Repositoryと同期は取らないでください。
- 左のメニューの[Repos] - [Add Repo]
- [Create repo by cloning a Git repository] のチェックボックスを外す
- Repository Nameを入れてSubmitする
Getting Started
- Install Databricks for Visual Studio Code from Marketplace
VSCode Marketplaceから"Databricks for Visual Studio Code"を検索してInstallします。
構成をセットアップする
RemoteのDatabricks環境と連携するために、以下をセットアップする必要があります。
1. 作業フォルダーを開く
Visual Studio Code (File > Open Folder)にて、ローカルの作業フォルダーを指定します。無い場合は新規フォルダーを作成。
2. Databricks構成情報のセットアップ
Databricks icon -> Configure Databricks にてセットアップ
3. Databricks CLIで作成したプロファイルを選択する
私の環境では４つのワークスペース用のプロファイルがあるので４つ出てきました。 ここで新規プロファイル作成も可能です。このプロファイルは、対象となるDatabricks Workspaceにアクセスするための情報が保存されてます。
4. Clusterの選択
プロファイルを使って無事にWorkspaceと連携出来ると、左のペインにクラスターリストが表示されます。今回利用するクラスターをアタッチします。
アタッチすると、起動や停止もコントロール出来ます。
5. Repository のセットアップ
ローカルのコードをWorkspace上と同期するため、先ほど作成したRepositoryをセットアップします。
Repositoryのギアマークをクリックすると、Workspace上のRepositoryがリストされるので、先ほど作成した「my-repo」を選択します。
ギアマークの左にある同期マークをクリックすると、リポジトリーとローカルフォルダーが同期されます。
Databricks for Visual Studio Codeは、ローカルのVisual Studio CodeプロジェクトからリモートのDatabricksワークスペースにある関連リポジトリへのファイル変更の一方向の自動同期のみを実行するものです。詳細はこちらをご覧ください
使ってみよう
1. python fileとして Databricks Cluster上で実行する
こちらのサンプルのPythonファイルを保存して実行してみます。
from pyspark.sql import SparkSession
from pyspark.sql.types import *
spark = SparkSession.builder.getOrCreate()
schema = StructType([
StructField('CustomerID', IntegerType(), False),
StructField('FirstName', StringType(), False),
StructField('LastName', StringType(), False)
])
data = [
[ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
[ 1001, 'Joost', 'van Brunswijk' ],
[ 1002, 'Stan', 'Bokenkamp' ]
]
customers = spark.createDataFrame(data, schema)
customers.show()
VSCodeの右上の実行ボタンを選択し、「Run File on Databricks」を実行する
実行結果が下のデバッグコンソールに出力されます。
コードもワークスペースのRepositoryに同期されてました。
2. Jobとして実行する
コードファイルを開いて、右上の実行ボタンから「Run File as Workflow on Databricks」を実行します。
VSCode上に Job実行結果が出力されます。
Databricks上でもジョブを確認できます。ちなみにクラスターは指定したクラスター上で実行されます。（新規ジョブクラスターが作られるわけでは無い）
3. Python NotebookをJobとして実行する
databricks notebookとして実行するには、.py ファイルの最初の行に # Databricks notebook source を追加します。またセルを追加するには、# COMMAND ---------- を追加します。
以下のサンプルコードをご利用ください。
# Databricks notebook source
from pyspark.sql import SparkSession
from pyspark.sql.types import *
spark = SparkSession.builder.getOrCreate()
schema = StructType([
StructField('CustomerID', IntegerType(), False),
StructField('FirstName', StringType(), False),
StructField('LastName', StringType(), False)
])
# COMMAND ----------
data = [
[ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
[ 1001, 'Joost', 'van Brunswijk' ],
[ 1002, 'Stan', 'Bokenkamp' ]
]
# COMMAND ----------
customers = spark.createDataFrame(data, schema)
customers.show()
Run File as Workflow on Databricksを実行します。
このようにノートブックを実行した際の結果が新規タブに表示されます。
