ご質問いただくことがあるのでこちらにメモ。自分の備忘録も兼ねて。

コントロールプレーンとは

Databricksのアーキテクチャはコントロールプレーンとデータプレーンから構成されています。

コントロールプレーンには、DatabricksのAWSアカウント上でDatabricksが管理するバックエンドサービスが含まれます。ノートブックコマンドやその他のワークスペース設定はコントロールプレーンに格納され、暗号化されています。
データプレーンはあなたのデータを処理する場所となります。
- ほとんどのDatabricksの計算処理における計算リソースは、クラシックデータプレーンと呼ばれるあなたのAWSアカウントに存在します。ノートブック、ジョブ、Databricks SQLウェアハウスのproとクラシックでは、Databricksはこのタイプのデータプレーンを使用します。
- Databricks SQLでサーバレスコンピュートを有効化すると、Databricks SQLの計算リソースは共有のサーバレスデータプレーンに存在することになります。ノートブック、ジョブ、Databricks SQLウェアハウスのproとクラシックの計算リソースは依然としてお客様のアカウントに存在します。Databricksのサーバーレスコンピュートをご覧ください。

コントロールプレーンに格納されるデータ

以下のデータがコントロールプレーンに格納されます。ノートブックの実行結果に関しては、格納場所を変更することができます。

コントロールの方法は以下の2つがあります。

各オブジェクトとコントロールの関係を以下にまとめます。

オブジェクト	CMK	格納場所の変更
ノートブックのコード	⚪︎
SQLクエリーとクエリー履歴	⚪︎
シークレット	⚪︎
クラスターとジョブのメタデータ
MLflowメタデータ
Unity CatalogやHiveメタストアのメタデータ
テレメトリーデータ(ログ)
ノートブックの実行結果	⚪︎	⚪︎

また、復旧可能な手動削除に加えて、手動による強制パージが可能です。

Databricksクイックスタートガイド