0
0

Databricksノートブック上でのDelta Live Tablesの構文チェック

Posted at

知らなかった…。これまではDelta Live Tablesのロジックを記述したノートブックは、Delta Live Tablesパイプラインとして登録しない限り実行できなかったのですが、構文チェックができるようになってました。検証機能の導入に合わせてかと思います。

Delta Live Tables SQLクエリーはどこで実行しますか?

ノートブックまたはSQLファイルを使用してDelta Live Tables SQLクエリーを作成できますが、Delta Live Tablesはノートブックのセルで対話的に実行するように設計されていません。DatabricksノートブックでDelta Live Tables構文を含むセルを実行すると、クエリーが構文的に有効かどうかに関するメッセージが返されますが、クエリーロジックは実行されません。

ちなみに、検証機能はパイプラインの画面から実行できます。
Screenshot 2024-01-12 at 14.21.06.png

ノートブックからセルを実行します。
Screenshot 2024-01-12 at 14.12.48.png

以前はエラーになってましたが実行できます。なお、ここでは構文チェックのみが行われ、データの処理自体は行われません。データを処理するにはパイプラインとして実行する必要があります。
Screenshot 2024-01-12 at 14.21.54.png

以降のセルでも同様に実行できます。処理の結果生成されるテーブルのスキーマを確認できます。
Screenshot 2024-01-12 at 14.23.21.png

これで、ノートブック上でロジックを構築し、構文チェックを行うというイテレーションが可能となります。一通りチェックが終わったら、パイプラインとして作成してデータを用いたデバッグを行うという流れとなります。ご活用下さい!

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0