0
0

Databricksのウェアハウスイベントシステムテーブル

Posted at

気づいたらシステムテーブルが増えていました。ウェアハウスイベントシステムテーブルを触ってみます。

このテーブルには、ウェアハウスが開始、停止、実行、およびスケールアップおよびスケールダウンされるたびに行が記録されます。 この記事のサンプル クエリをアラートと共に使用して、ウェアハウスへの変更を通知し続けることができます。

カタログエクスプローラでも存在を確認できます。
Screenshot 2024-01-27 at 16.00.39.png

テーブルの中身を確認します。

USE CATALOG `system`;

SELECT * FROM compute.warehouse_events we LIMIT 10;

ウェアハウスのイベントが記録されています。
Screenshot 2024-01-27 at 16.02.27.png

いくつかサンプルクエリーを実行します。

どのウェアハウスがどのくらいの期間アクティブに稼働しているか?

USE CATALOG `system`;

SELECT
we.warehouse_id,
we.event_time,
TIMESTAMPDIFF(MINUTE, we.event_time, CURRENT_TIMESTAMP()) / 60.0 AS running_hours,
we.cluster_count
FROM
compute.warehouse_events we
WHERE
we.event_type = 'RUNNING'
AND NOT EXISTS (
SELECT 1
FROM compute.warehouse_events we2
WHERE we2.warehouse_id = we.warehouse_id
AND we2.event_time > we.event_time
)

Screenshot 2024-01-27 at 16.04.02.png

初めて起動するウェアハウス

use catalog `system`;

SELECT
   we.warehouse_id,
   we.event_time,
   we.cluster_count
FROM
   compute.warehouse_events we
WHERE
   (we.event_type = 'STARTING' OR we.event_type = 'RUNNING')
   AND NOT EXISTS (
       SELECT 1
       FROM compute.warehouse_events we2
       WHERE we2.warehouse_id = we.warehouse_id
       AND we2.event_time < we.event_time
   )

Screenshot 2024-01-27 at 16.05.15.png

稼働状況のモニタリングに使えそうですね。

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0