Private Databricks Workspaces With AWS PrivateLink Is in Public Preview - The Databricks Blogの翻訳です。
AWS上のDatabricksワークスペースにおけるPrivateLink接続が、実運用へのデプロイメントを完全にサポートし、パブリックプレビューになったことを嬉しく思います。このリリースは、E2アーキテクチャをサポートしているすべてのAWSリージョンに適用され、Enterpriseプランの一部として本機能を利用できます。プライベートプレビューを通じて、大規模金融サービス、ヘルスケア、通信会社を含む世界中のお客様にAWS上にDatabricksレイクハウスプラットフォームのプライベートワークスペースをデプロイいただき、多くのフィードバックをいただきました。お客様は、Databricksワークスペースのフロントエンド、バックエンドインタフェースの両方にクラウドネイティブかつプライベートオンリーの接続性を強制でき、お客様のガバナンスポリシーの主要要件を満足することができました。
AWS PrivateLinkによるプライベートDatabricksワークスペースの概要
Databricksワークスペースによって、シンプルかつ適切に統合されたアーキテクチャを通じて、強化されたセキュリティ機能を活用することができます。Databricks E2ワークスペースに対するAWS PrivateLinkを活用することで、以下のメリットを享受することができます。
- フロントエンドインタフェースに対するプライベート接続: Databricksのフロントエンドインタフェースに対して、AWS VPC(virtual private cloud)エンドポイントを設定し、ノートブック、SQLエンドポイント、REST API(CLIを含む)、Databricks Connectに対する全てのユーザー/クライアントの通信がプライベートネットワークおよびAWSバックボーンを経由することを強制します。
- バックエンドインタフェースに対するプライベート接続: Databricksワークスペースを、セキュアクラスターコネクティビティを用いて顧客管理VPCにデプロイした場合、DatabricksのバックエンドインタフェースにAWS VPCエンドポイントを設定し、セキュアクラスターコネクティビティのリレーおよび内部APIがプライベートネットワークおよびAWSバックボーンを経由することを強制します。
-
信頼性、スケーラビリティの強化: クラスターノードにパブリックIPを割り当て、対応するネットワークにアタッチする必要がなくなるので、大規模ワークロードに対しても、お使いのデータプラットフォームの信頼性、スケーラビリティを高めることができます。さらに、ワークスペースの通信は公衆ネットワークの帯域の可用性に影響を受けません。
ハイレベルにおいては、Databricksのアーキテクチャはコントロール/マネジメントプレーンとデータプレーンから構成されます。コントロールプレーンはDatabricksのAWSアカウントに存在し、webアプリケーション、クラスターマネージャ、ジョブサービス、SQLゲートウェイなどをホスティングしています。データプレーンはお客様のAWSアカウントに存在し、顧客管理VPC(最低2つのサブネット)、セキュリティグループ、そしてDBFSとして知られるAmazon S3のルートバケットから構成されます。
E2 Account APIとAWS CLI/Cloudformationを組み合わせて、あるいは、我々のエンジニアが管理しているTerraform Resource Providerを用いることで、フロントエンドインタフェース、バックエンドインタフェース両方に対してPrivateLinkを用いてワークスペースをデプロイすることができます。インフラストラクチャおよび設定管理をすでにTerraformで自動化しているのであれば、後者を利用することをお勧めします。
AWS PrivateLinkによるプライベートDatabricksワークスペースを使ってみる
AWS PrivateLinkによるプライベートDatabricksワークスペースをデプロイすることで、強化されたセキュリティ機能を利用することができます。以下のリソースを参照ください。
- DatabricksにおけるAWS PrivateLinkの有効化 - Qiita
- Secure Cluster Connectivity Documentation
- Data exfiltration protection architecture
- Securely Accessing External Data Sources from Databricks on AWS
我々がAWS上で最も人気のあるレイクハウスプラットフォームを構築しつつも、どのようにセキュリティファーストのマインドセットを組み込んでいるのか関しては、エンタープライズ向けプラットフォームセキュリティを参照ください。