こちらで紹介されている機能をウォークスルーします。
サンプルデータを用いてクイックにDelta Live Tables(DLT)の機能を試すことができます。
パイプラインの作成
- サイドメニューのワークフローをクリックします。
- Delta Live Tablesタブをクリックします。
- 左上にあるパイプラインを作成ボタンの右にある下向き矢印を展開し、サンプルデータからパイプラインを作成するを選択します。
- パイプライン設定画面が表示されます。
- パイプラインの名前をパイプライン名に入力します。
- クラスターポリシーを適用する際には、クラスターポリシーを選択します。
- 自動でDLTノートブックが作成されますが、その際の言語を選択します。
- DLTの処理によって生成されるDeltaテーブルをSQLでクエリーできる様にするためにターゲットスキーマにデータベース名を指定します。
- 作成をクリックします。
- パイプラインの画面が表示されます。
パイプラインの実行
- 開始をクリックしてパイプラインを実行します。
- クラスターが起動するとパイプラインのDAG(有効非巡回グラフ)が表示され、パイプラインの処理が実行されます。
ノートブックの確認
- 処理が完了したらパイプラインのノートブックを確認してみます。パスに表示されているリンクをクリックします。
- パイプラインの各ボックスの定義をSQLで確認することができます。
データの確認
- サイドメニューのDataをクリックし、
hive_metastore配下にある、パイプラインの作成で指定したターゲットスキーマを選択し、テーブルが作成されていることを確認します。 - テーブルの中身を確認することができます。
まとめ
サンプルデータを用いてDLTをウォークスルーすることで、全体の操作、処理の流れを把握できるかと思います。ここで生成されたノートブックをカスタマイズして、ご自身のデータを用いてETLパイプラインを構築することも可能です。