Delta Live Tablesのメンテナンスタスクのコストを追跡する

DatabricksのDelta Live Tables(DLT)を用いることで、高信頼・高性能のデータパイプラインを容易に構築、管理できるようになります。

このDLTでは、宣言型でETLパイプラインを構築することで複雑なデータパイプラインを容易に構築でき、以下のようにパイプラインの可視性を高めることができます。

そして、DLTでパイプラインを作成すると、パイプラインに含まれるDeltaテーブルをメンテナンスするメンテナンスタスクがデイリーで実行されるようになります。このタスクのコストを追跡したい際にどうするのかというのがタイトルの話という訳です。

Databricksのコストはアカウントコンソールの使用量で確認することができます。ただ、ここから上記のメンテナンスタスクのコストを切り出すには、事前の準備が必要になります。当該メンテナンスタスクを実行するクラスターにタグを追加することで、そのタグが紐付けられているタスクを切り出します。

1. 当該パイプラインの設定画面を開きます。
   

2. 右上のJSONをクリックし、設定をJSON形式で表示します。
   

3. clustersに以下のブロックを追加します。"label": "maintenance"でメンテナンスタスク用のクラスターを参照し、その配下に"custom_tags"で任意のタグを追加しています。以下の例では"Resource"が"DLT_Maintenance"というタグを追加していますが、任意のタグを追加することができます。

   JSON

   {
           "label": "maintenance",
           "custom_tags": {
               "Resource": "DLT_Maintenance"
           }
   }
   

4. clustersは以下のようになります。これで、メンテナンスタスクのクラスターを"Resource"が"DLT_Maintenance"というタグで特定できるようになります。

   JSON

   "clusters": [
       {
           "label": "default",
           "autoscale": {
               "min_workers": 1,
               "max_workers": 1,
               "mode": "LEGACY"
           }
       },
       {
           "label": "maintenance",
           "custom_tags": {
               "Resource": "DLT_Maintenance"
           }
       }
   ]
   

5. DLTパイプラインを実行します。これで上記設定が反映されたメンテナンスタスクが実行されるようになります。

6. メンテナンスタスクが実行されるように、24時間待ちます。

7. アカウントコンソールの使用量にアクセスし、タグ別を開くと、上で設定したタグResourceが表示されるはずです。これを選択するとタグResourceごとに集計された使用量が表示されます。
   

8. 定義したDLT_Maintenanceが表示されています。
   

9. より詳細に確認するには、右上のダウンロードボタンをクリックしてCSVファイルをダウンロードします。
   

10. メンテナンスタスクのコストを確認することができます。
    

Databricks 無料トライアル

Databricks 無料トライアル