こちらの続きです。
Delta Live Tablesパイプラインも一緒に管理できます。
バンドルの作成までは一緒です。
作成時に
- Include a stub (sample) notebook in 'dlt_project/src': no
- Include a stub (sample) Delta Live Tables pipeline in 'dlt_project/src': yes
- Include a stub (sample) Python package in 'dlt_project/src': no
と選びます。プロジェクト名はdlt_projectとしています。
アセットバンドルのデプロイ
cd dlt_project
databricks bundle deploy -t dev --profile <プロファイル名>
ワークスペースにリソースが配備されます。
パイプラインも作成されます。
パイプラインのノートブックも作成されます。
パイプラインをタスクとしたジョブも作成されます。なお、こちらは今回は使いません。
パイプラインの実行
DLTパイプラインを実行します。
databricks bundle run -t dev dlt_project_pipeline --profile <プロファイル名>
パイプラインが起動しました！
完了しました！
テーブルも作成されました。
やっぱり、これはなかなか強力な機能だ。