Azure Databricks クラスター実行履歴確認・費用概算

Last updated at 2020-09-04Posted at 2020-09-04

はじめに

Azure Databricks 利用に際しあらかじめ運用コストを把握しておきたいところですが、ワークロードの性質や規模によって計算負荷が大きく変わってくるため、見積もりそのものが困難です。

本稿では Azure Databricks Workspace 上でクラスタの実行履歴を確認、その利用料金を概算する手順を示します。※以下の記事で利用したクラスタの履歴/概算

金融取引データから異常検知

導入/環境設定
Collaborative Notebook でデータ可視化
Anomaly Detector をデータ探索ツールとして使ってみる
1つ目のモデル構築 (データの偏り未考慮)
[2つ目のモデル構築 (データの偏り考慮)] (https://qiita.com/Catetin0310/items/0780b4e0f1ba07509930)

クラスタ実行履歴確認

Cluster から Notebook に紐づけたクラスターを選択。

赤枠で囲っている履歴の料金を算出してみます。おおよそ 5 時間、Auto Scaling が働かない状態でクラスタが起動していたようです。

この時はクラスタ起動の直前に設定項目を変えています。EDITED をクリックすると、変更前後の設定を確認できます。以下は一部抜粋。Notebook の編集や可視化メインでモデリング処理はやらないつもりだったのでしょう。クラスタのスペックを下げ、Auto Scaling を長めに設定しています。

EventType_EDITED

{
  "previous_attributes": {
    "cluster_name": "cluster_for_demo",
    "node_type_id": "Standard_DS4_v2",
    "driver_node_type_id": "Standard_DS4_v2",
    "autotermination_minutes": 30
  },
  "attributes": {
    "cluster_name": "cluster_for_demo",
    "node_type_id": "Standard_DS3_v2",
    "driver_node_type_id": "Standard_DS3_v2",
    "autotermination_minutes": 120
  },
  "previous_cluster_size": {
    "autoscale": {
      "min_workers": 2,
      "max_workers": 16
    }
  },
  "cluster_size": {
    "autoscale": {
      "min_workers": 1,
      "max_workers": 4
    }
  },
}