0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

AWS PrivateLinkによるプライベートDatabricksワークスペースのパブリックプレビュー

Last updated at Posted at 2021-08-10

Private Databricks Workspaces With AWS PrivateLink Is in Public Preview - The Databricks Blogの翻訳です。

AWS上のDatabricksワークスペースにおけるPrivateLink接続が、実運用へのデプロイメントを完全にサポートし、パブリックプレビューになったことを嬉しく思います。このリリースは、E2アーキテクチャをサポートしているすべてのAWSリージョンに適用され、Enterpriseプランの一部として本機能を利用できます。プライベートプレビューを通じて、大規模金融サービス、ヘルスケア、通信会社を含む世界中のお客様にAWS上にDatabricksレイクハウスプラットフォームのプライベートワークスペースをデプロイいただき、多くのフィードバックをいただきました。お客様は、Databricksワークスペースのフロントエンド、バックエンドインタフェースの両方にクラウドネイティブかつプライベートオンリーの接続性を強制でき、お客様のガバナンスポリシーの主要要件を満足することができました。

AWS PrivateLinkによるプライベートDatabricksワークスペースの概要

Databricksワークスペースによって、シンプルかつ適切に統合されたアーキテクチャを通じて、強化されたセキュリティ機能を活用することができます。Databricks E2ワークスペースに対するAWS PrivateLinkを活用することで、以下のメリットを享受することができます。

  • フロントエンドインタフェースに対するプライベート接続: Databricksのフロントエンドインタフェースに対して、AWS VPC(virtual private cloud)エンドポイントを設定し、ノートブックSQLエンドポイントREST API(CLIを含む)、Databricks Connectに対する全てのユーザー/クライアントの通信がプライベートネットワークおよびAWSバックボーンを経由することを強制します。
  • バックエンドインタフェースに対するプライベート接続: Databricksワークスペースを、セキュアクラスターコネクティビティを用いて顧客管理VPCにデプロイした場合、DatabricksのバックエンドインタフェースにAWS VPCエンドポイントを設定し、セキュアクラスターコネクティビティのリレーおよび内部APIがプライベートネットワークおよびAWSバックボーンを経由することを強制します。
  • 信頼性、スケーラビリティの強化: クラスターノードにパブリックIPを割り当て、対応するネットワークにアタッチする必要がなくなるので、大規模ワークロードに対しても、お使いのデータプラットフォームの信頼性、スケーラビリティを高めることができます。さらに、ワークスペースの通信は公衆ネットワークの帯域の可用性に影響を受けません。

ハイレベルにおいては、Databricksのアーキテクチャはコントロール/マネジメントプレーンとデータプレーンから構成されます。コントロールプレーンはDatabricksのAWSアカウントに存在し、webアプリケーション、クラスターマネージャ、ジョブサービス、SQLゲートウェイなどをホスティングしています。データプレーンはお客様のAWSアカウントに存在し、顧客管理VPC(最低2つのサブネット)、セキュリティグループ、そしてDBFSとして知られるAmazon S3のルートバケットから構成されます。

E2 Account APIAWS CLI/Cloudformationを組み合わせて、あるいは、我々のエンジニアが管理しているTerraform Resource Providerを用いることで、フロントエンドインタフェース、バックエンドインタフェース両方に対してPrivateLinkを用いてワークスペースをデプロイすることができます。インフラストラクチャおよび設定管理をすでにTerraformで自動化しているのであれば、後者を利用することをお勧めします。

AWS PrivateLinkによるプライベートDatabricksワークスペースを使ってみる

AWS PrivateLinkによるプライベートDatabricksワークスペースをデプロイすることで、強化されたセキュリティ機能を利用することができます。以下のリソースを参照ください。

我々がAWS上で最も人気のあるレイクハウスプラットフォームを構築しつつも、どのようにセキュリティファーストのマインドセットを組み込んでいるのか関しては、エンタープライズ向けプラットフォームセキュリティを参照ください。

Databricks 無料トライアル

Databricks 無料トライアル

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?