はじめに
今回は、2020年6月12日に Vinay Wagh 氏と Abhinav Garg 氏によって投稿されました「 Enterprise Cloud Service Public Preview on AWS 」で紹介されている Enterprise Security の1つである「 Secure Cluster Connectivity 」に関する内容を翻訳し、まとめてみました。
本記事のリンクは下記参照。
■リンク
・Secure Cluster Connectivity
・Enterprise Cloud Service Public Preview on AWS
エンタープライズセキュリティ
今回の AWS 上での Databricks のエンタープライズクラウドサービスにおけるエンタープライズセキュリティの主な内容は以下の4つです。
今回は、この5つの内の「セキュアなクラスタ接続」について、紹介したいと思います。
■エンタープライズセキュリティ
①Data Lake の真のポテンシャルを妨げないセキュリティ
②顧客管理VPC
③セキュアなクラスタ接続
④Notebook の為の顧客管理キー
⑤IAM 証明パススルー
セキュアなクラスタ接続
概要
いくつかのデプロイメントタイプと Databricks サブスクリプションには、安全なクラスタ接続がオプションで含まれています。安全なクラスタ接続により、顧客の VPC には開いているポートも無く、Databricks ランタイムワーカにはパブリック IP アドレスもありません。一部の API では、これはパブリック IP（NPIP）と呼ばれます。
- ネットワークレベルで各クラスタは、クラスタ作成中にコントロールプレーンセキュアクラスタ接続リレーへの接続を開始
- クラスタはポート 443（HTTPS）を使用してこのセキュアな接続を確立し、Web アプリケーションや REST API に使用されるものとは異なる IP アドレスを使用
- 新しい Databricks ランタイムジョブの開始やクラスタ管理の実行など、コントロールプレーンが論理的に開始するアクションはリバーストンネルを介してクラスタへの要求として送信される
- データプレーン（お客様のVPC）には開いているポートが無く、Databricks ランタイムワーカにはパブリック IP アドレスは無い
クラスタ接続のメリット
- 簡単なネットワーク管理
- セキュリティグループでのポート構成やネットワークピアリング構成が不要
- より簡単な承認
- 優れたセキュリティと単純なネットワーク管理のため、情報管理チームが Databricks を PaaS プロバイダとして承認するのがより簡単に
- 優れたセキュリティと単純なネットワーク管理のため、情報管理チームが Databricks を PaaS プロバイダとして承認するのがより簡単に
安全なクラスタ接続の使用
セキュアなクラスタ接続をワークスペースに利用する場合は、マルチワークスペース API を使用し新しいワークスペースを作成する必要があります。既存のワークスペースにセキュアなクラスタ接続の追加はできません。
おわりに
セキュアなクラスタ接続についての紹介は以上です。詳し内容については、本記事をご参照ください。