はじめに
2020年9月、AWS上で利用可能なdatabricksのプランに新しく E2 が追加されました。
この記事では、E2の機能について紹介していきます。
プランの概要
E2のプランにすることで、以下の機能が使えるようになります。
- マルチワークスペースアカウント
- 顧客管理VPC
- 安全なクラスター接続
- ノートブックの顧客管理キー
それぞれの機能について、見ていきます。
1. Multi-workspace accounts
アカウントAPIを使用し、単一のDatabricksアカウントで、複数の新しいDatabricksワークスペースをプログラムで作成することが可能です。作成する各ワークスペースには 異なる構成を設定できます。
2. Customer-managed VPCs
デフォルトでは、Databricksは各ワークスペースのAWSアカウントにVPCを作成しますが、E2の場合、この顧客管理VPC機能により独自のVPCにDatabricksワークスペースを作成することができます。
3. Secure cluster connectivity
すべてのノードがプライベートIPアドレスのみを持つクラスターを起動し、VPCに開いているポートがなくなることで、安全なクラスター接続が実現できます。
4. Customer-managed keys for notebooks
ワークスペースの作成中に、CMK（顧客管理キー）と呼ばれる取り消し可能な秘密鍵を追加することができます。CMKとDMK（データ暗号キー）を結合し、ワークスペースにDEK（派生暗号キー）を作成します。
価格について
11月4日現在では、公式ページでは価格オプションについて確認できませんでした。もしかすると現行のEnterpriseプランに含まれているかもしれませんので、今後確認でき次第追記していきます。
まとめ
これらの機能によって、より安全でスケーラブルに、AWS上でdatabricksプラットフォームを利用することができそうですね。
公式ドキュメント
- https://docs.databricks.com/getting-started/overview.html#e2-architecture
- https://docs.databricks.com/administration-guide/account-api/new-workspace.html
- https://docs.databricks.com/administration-guide/cloud-configurations/aws/customer-managed-vpc.html
- https://docs.databricks.com/security/secure-cluster-connectivity.html
- https://docs.databricks.com/security/keys/customer-managed-keys-notebook-aws.html
- https://docs.databricks.com/release-notes/product/2020/september.html#e2-architecture---now-ga---provides-better-security-scalability-and-management-tools