はじめに
こんにちは、すぎもんです
本記事では、HULFT SquareのスクリプトからREST APIでDatabricksのDeltaテーブルを参照してみたいと思います。
今回はDatabricksに関連して下記3つの記事構成にしています。
１．DatabricksでETLジョブを作成してみた
２．HULFT SquareからDatabricksのジョブを実行してみた
３．HULFT SquareからDatabricksのテーブルを参照してみた （本記事）
Databricksにジョブを作成する記事とHULFT Square（またはDataSpider Servista）からDatabricksのジョブを実行する記事もあわせてご覧ください。
今回やること
HULFT SquareのスクリプトでRESTコネクターを使用し、DatabricksのDeltaテーブルを参照して、結果をファイルに出力してみます。
本記事では、HULFT Squareを使用していますが、DataSpider Servistaでも同様に実現可能です。
実施手順
以下の手順を実施します。
１．HULFT SquareのRESTコネクション作成
２．HULFT Squareのテーブル参照スクリプト作成・実行
１．HULFT SquareのRESTコネクション作成
HULFT SquareからDatabricksに接続するためのコネクションを作成します。
① Databricksのホスト名を確認
HULFT Squareから接続するためのホスト名を確認します。
Databricksコンソール画面の[SQLウェアハウス]⇒使用する実行環境をクリックします。
[接続の詳細]タブを選択し、[サーバーのホスト名]をコピーします。
② コネクション作成
HULFT Squareコンソール画面の[コネクション]⇒[追加]を押下します。
[コネクター]に「REST」を指定し、[種類]に「REST接続」を指定し、[次へ]ボタンを押下します。
[名前]と[ワークスペース]を設定し、[次へ]ボタンを押下します。
[URL]に「https://」を入力し、その後に①でコピーしたDatabricksのホスト名を貼り付けて、[接続テスト]ボタンを押下します。接続テスト成功後に[次へ]ボタンを押下します。
接続テストが成功することを確認します。
[プロファイル]を選択し、[次へ]ボタンを押下します。
設定内容を確認し、[完了]ボタンを押下します。
２．HULFT Squareのテーブル参照スクリプト作成・実行
HULFT SquareでDatabricksのDeltaテーブルを参照するスクリプトを作成して実行します。
① ウェアハウスID確認
REST APIのリクエストボディに設定するウェアハウスIDを確認します。
Databricksコンソール画面の[SQLウェアハウス]⇒使用する実行環境をクリックします。
[概要]タブ⇒[名前]⇒IDをコピーします。
② アクセストークンの生成
[ユーザアイコン]⇒[設定]をクリックします。
[開発者]⇒[アクセストークン]⇒[管理]をクリックします。
[新規トークンを生成]をクリックします。
[コメント]と[存続期間（日）]を入力し、[生成]をクリックします。
トークンをコピーし、メモしておきます。[完了]をクリックします。
③ Deltaテーブル参照スクリプト作成
HULFT Squareのデザイナーの[ツールパレット]⇒[ネットワーク]⇒[REST]⇒[POST実行]のコネクターをドラッグ＆ドロップで配置します。
・必須設定
[接続先]に作成したコネクションを指定し、[パス]に「/api/2.0/sql/statements」を入力します。
最新バージョンのパスについては以下のリンクを確認します。
https://docs.databricks.com/api/workspace/statementexecution/executestatement?utm_source=chatgpt.com
・リクエスト設定
以下の内容のJSON形式のファイルを作成し、HULFT Squareのストレージに保存します。
statement: 実行するSQL文
warehouse_id: ①で確認したウェアハウスID
format: 結果のフォーマット
[データ入力元]は「ファイル」を選択し、上記ファイルのパスを指定します。
・レスポンス設定
[データ出力先]は「ファイル」を選択し、結果を出力するファイルのパスを指定します。
・ヘッダ設定
以下のリクエストヘッダを設定します。
Authorization: Bearer （②で生成したアクセストークンを指定する）
Content-Type: application/json
④ スクリプト実行
[スクリプトの実行]ボタンを押下し、実行成功のポップアップが出力されることを確認します。
⑤ スクリプト実行結果確認
レスポンス設定で指定したパスにファイルが出力されていることを確認します。
以下の内容になっていることを確認します。
・status：SUCCEEDEDになっていること
・result：data_arrayにSELECT文の結果が格納されていること
おわりに
いかがだったでしょうか。
今回は、HULFT SquareのRESTコネクターを利用して、DatabricksのDeltaテーブルを参照する方法をご紹介しました。
REST APIを利用することで、データの参照だけでなく、データの登録や更新などのSQLも実行できるので、より柔軟なデータ連携が実現できると思います。
ここまで読んでいただき、ありがとうございました。それでは、また！