知らなかった…。これまではDelta Live Tablesのロジックを記述したノートブックは、Delta Live Tablesパイプラインとして登録しない限り実行できなかったのですが、構文チェックができるようになってました。検証機能の導入に合わせてかと思います。

Delta Live Tables SQLクエリーはどこで実行しますか？

ノートブックまたはSQLファイルを使用してDelta Live Tables SQLクエリーを作成できますが、Delta Live Tablesはノートブックのセルで対話的に実行するように設計されていません。DatabricksノートブックでDelta Live Tables構文を含むセルを実行すると、クエリーが構文的に有効かどうかに関するメッセージが返されますが、クエリーロジックは実行されません。

ちなみに、検証機能はパイプラインの画面から実行できます。

ノートブックからセルを実行します。

以前はエラーになってましたが実行できます。なお、ここでは構文チェックのみが行われ、データの処理自体は行われません。データを処理するにはパイプラインとして実行する必要があります。

以降のセルでも同様に実行できます。処理の結果生成されるテーブルのスキーマを確認できます。

これで、ノートブック上でロジックを構築し、構文チェックを行うというイテレーションが可能となります。一通りチェックが終わったら、パイプラインとして作成してデータを用いたデバッグを行うという流れとなります。ご活用下さい！

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル