はじめに

前回の記事でUnityCatalogの新機能である SystemTableの機能や有効化する方法をご紹介いたしました。今回はそのデータを使って可視化・分析していきたいと思います。

分析するのにすでに便利なノートブックが用意されておりますので、こちらを利用してご紹介していきます。

セットアップ

上記のサンプルノートブックをセットするために、以下を実行してください。

%pip install dbdemos
import dbdemos
dbdemos.install('uc-04-system-tables')

こちらを実行すると、以下のように必要なノートブックやダッシュボード、データを取得するジョブ、クラスターが作成作成されます。

ちなみに新規のクラスターを作成したくない場合は、以下のようにするといいようです。（参考記事 @manabian)

dbdemos.install(
    'uc-04-system-tables',
    start_cluster = False,
    use_current_cluster = True
)

Billing Table

system.billing.usage のテーブルには、すべてのワークスペースの課金ログが収集されております。それでは、Billing Tableから見ていきましょう。作成されたノートブックのうち、01-blling-tablesのフォルダーを01から実行していきます。

Notebookの中に以下のような注意事項がありました。

価格表に関する注意
価格テーブル（各SKUの$単位の価格情報を含む）は、別のシステムテーブルとしてすぐに利用できるようになる予定です。

その間、ヘルパー関数を使って価格データを挿入しています。このテーブルと以下のクエリはあくまで教育的なものとお考えください。より正確な情報については、契約書を確認してください。

どういうことかというと、DBU(Databricks Units)という単位から価格を計算する際に、SKU単位での単価をかける必要があるのですが、価格の単価テーブルがまだ用意されていないので、今回作成して挿入しているという事で、実際に %run ../_resources/00-setup を実行していますが、この 00-setup内に各単価が記載されており、単価テーブルを作成しておりましたので、ご興味がある方はチェックしてみてください。

最初のノートブックは、実際にJobsやAll PurposeなどSKU毎の検索例などがいくつか載っております。利用方法などをチェックするのに参考になります。

JOBの使用量を確認

ML(Prophet)を活用した請求予測
02-forecast-billing-tables のノートブックは、MLを活用した請求予測をするノートブックです。以下のイメージ図のように、SKUとWorkspace毎にDailyの使用量を計算して、その時系列データを元に、MLモデルで今後の使用量を予測するというものです。