Unity CatalogのSystem Tableがリリースされた事で、こちらの方法でも確認出来るようになりました。
はじめに
Databricksのコストを確認する方法は Azure と AWS/GCPでは異なります。AWS/GCPの場合はこちらです。理由はAzureの場合は Azureのサービスに組み込まれているため Azure Consoleから確認する必要があるためです。
Azure Consoleから Databricksサービス費用を確認する方法
Azureサービスのコスト分析をする方法として、コスト分析 というサービスメニューがあります。
クイック スタート:コスト分析を使用してコストを調査および分析する
コスト分析でコストを確認するには、Azure portal でスコープを開き、メニューで [コスト分析] を選択します。 たとえば、 [サブスクリプション] に移動し、一覧からサブスクリプションを選択して、メニューから [コスト分析] を選択します。
コスト分析で別のスコープに切り替えるには、 [スコープ] ピルを使用します。
Databricks使用量を確認
それではいくつかのパターンで見てみましょう。今回はScopeにSubscriptionが選択されているのを確認します。
トータルコストの確認
filter条件で Service name を選択。Valueに azure databricksを選択。
Workspace単位でのコストの確認
Group by の箇所でResouceを選択。
(下の図はグラフを Columnに変更しているため見た目が異なってます。)
特定のWorkspace環境を見たい場合は、Filter条件で選択すればOK
Cluster Type毎の確認
All-Purposeや、Jobs,SQLなどのDBUタイプ毎に使用状況を確認するには meterを選択します。
Tag毎の確認
Tag毎の確認をするには、tagを選択します。
Azureインフラコストの確認
Azureサービス側のストレージやVM費用の金額を確認するには、Scopeで Workspaceが含まれている管理対象のResource Groupを選択します。その後グルーピングやフィルタを使用して、さらにコストを分割することができます。
管理対象のResource Groupが不明という方は、サービスでAzure Databricksを検索して、対象のワークスペースをクリックすると以下のページが表示されます。こちらに管理対象のResource Groupが表示されます。
ダウンロード
手元で分析したい場合は、ExcelやCSVとしてダウンロード出来ます。
最後に
Azureとそれ以外で確認方法が異なるのはちょっと不便ですが、基本的に同じことは出来そうですし、インフラコストも含めて確認できるのは便利ですね。