#はじめに
2020年9月、AWS上で利用可能なdatabricksのプランに新しく E2 が追加されました。
この記事では、E2の機能について紹介していきます。
#プランの概要
E2のプランにすることで、以下の機能が使えるようになります。
- マルチワークスペースアカウント
- 顧客管理VPC
- 安全なクラスター接続
- ノートブックの顧客管理キー
それぞれの機能について、見ていきます。
##1. Multi-workspace accounts
アカウントAPIを使用し、単一のDatabricksアカウントで、複数の新しいDatabricksワークスペースをプログラムで作成することが可能です。作成する各ワークスペースには 異なる構成を設定できます。
##2. Customer-managed VPCs
デフォルトでは、Databricksは各ワークスペースのAWSアカウントにVPCを作成しますが、E2の場合、この顧客管理VPC機能により独自のVPCにDatabricksワークスペースを作成することができます。
##3. Secure cluster connectivity
すべてのノードがプライベートIPアドレスのみを持つクラスターを起動し、VPCに開いているポートがなくなることで、安全なクラスター接続が実現できます。
##4. Customer-managed keys for notebooks
ワークスペースの作成中に、**CMK(顧客管理キー)**と呼ばれる取り消し可能な秘密鍵を追加することができます。CMKとDMK(データ暗号キー)を結合し、ワークスペースにDEK(派生暗号キー)を作成します。
#価格について
11月4日現在では、公式ページでは価格オプションについて確認できませんでした。もしかすると現行のEnterpriseプランに含まれているかもしれませんので、今後確認でき次第追記していきます。
#まとめ
これらの機能によって、より安全でスケーラブルに、AWS上でdatabricksプラットフォームを利用することができそうですね。
#公式ドキュメント
- https://docs.databricks.com/getting-started/overview.html#e2-architecture
- https://docs.databricks.com/administration-guide/account-api/new-workspace.html
- https://docs.databricks.com/administration-guide/cloud-configurations/aws/customer-managed-vpc.html
- https://docs.databricks.com/security/secure-cluster-connectivity.html
- https://docs.databricks.com/security/keys/customer-managed-keys-notebook-aws.html
- https://docs.databricks.com/release-notes/product/2020/september.html#e2-architecture---now-ga---provides-better-security-scalability-and-management-tools