Databricks SQL Connector for Pythonを試してみる

こちらのコネクターを実際に試してみます。

Databricks SQL Connector for PythonはDatabricksクラスターやDatabricks SQLウェアハウスでSQLコマンドを実行するために、Pythonコードを使用できるPythonライブラリです。pyodbcのようなPythonライブラリと同じように簡単にセットアップ、使用することができます。

要件

• Python >= 3.7、Python <=3.11が稼働している開発用マシン。
• 既存のクラスターあるいはSQLウェアハウス。

準備

以下ではSQLウェアハウスを使用するケースを説明します。

1. SQLウェアハウスの接続の詳細でサーバーのホスト名とHTTPパスをコピーしておきます。
   
2. パーソナルアクセストークンをコピーしておきます。
3. 開発用マシンでpip install databricks-sql-connectorを実行してコネクターをインストールします。

コネクターによる接続

1. ターミナルで環境変数を設定します。

   Bash

   export DATABRICKS_HOST=<Databricksワークスペースのホスト名>
   export DATABRICKS_HTTP_PATH=<上でコピーしたHTTPパス>
   export DATABRICKS_TOKEN=<上でコピーしたパーソナルアクセストークン>
   

2. VS Codeを起動します(Python実行環境であれば何でも構いません)。

   Bash

   code .
   

3. 以下のPythonコードを実行します。

   Python

   import os
   from databricks import sql
   
   with sql.connect(server_hostname = os.getenv("DATABRICKS_HOST"),
                    http_path       = os.getenv("DATABRICKS_HTTP_PATH"),
                    access_token    = os.getenv("DATABRICKS_TOKEN")) as connection:
   
     with connection.cursor() as cursor:
       cursor.execute("SELECT * FROM default.diamonds LIMIT 5")
       result = cursor.fetchall()
   
       for row in result:
         print(row)
   

4. クエリー結果が表示されます。
   

注意
nodename nor servname provided, or not knownやError during request to serverのようなエラーが発生する場合には、環境変数DATABRICKS_HOSTで指定したホスト名にhttps://や末尾の/が含まれていないことを確認してください。

Databricks 無料トライアル

Databricks 無料トライアル