Secure cluster connectivity | Databricks on AWS [2021/10/14時点]の翻訳です。
重要！
この機能は、E2バージョンのDatabricksプラットフォームでのみ有効です。2020/9/1以降、E2プラットフォームはでは、セキュアクラスター接続はデフォルトで有効となっています。
セキュアクラスター接続を有効にすることで、顧客管理VPCにオープンなポートがなくなり、DatabricksランタイムクラスターノードはパブリックIPアドレスを持たなくなります。
重要！
この記事では、Databricksの計算機レイヤーであるデータプレーンという単語を使います。この記事の文脈においては、データプレーンはお使いのAWSアカウントにおけるクラシックなデータプレーンのことを指します。一方で、Serverless SQL endpoints (パブリックプレビュー)をサポートするサーバレスデータプレーンは、DatabricksのAWSアカウントで稼働します。詳細はServerless computeをご覧ください。
- ネットワークレベルでは、それぞれのクラスターはクラスター作成時に、コントロールプレーンのセキュアクラスター接続リレーに対する接続を確立します。クラスターは、ポート443(HTTPS)を用いて接続を確立し、Webアプリケーション、REST APIとは異なるIPアドレスを使用します。
- コントロールプレーンが、新たなDatabricksランタイムジョブや他のクラスター管理タスクを論理的に起動した際に、これらのリクエストはこのリバーストンネルを通じてクラスターに送信されます。
- データプレーン(VPC)にはオープンなポートはなく、DatabricksランタイムクラスターノードにパプリックIPアドレスはありません。
メリット：
- セキュリティグループに対するポートの設定や、ネットワークピアリングの設定が不要となり、ネットワーク管理が容易になります。
- 強化されたセキュリティとシンプルなネットワーク管理によって、情報セキュリティチームはPaaSプロバイダーとしてのDatabricksの認可を促進することができます。
セキュアクラスター接続を使う
ワークスペースでセキュアクラスター接続を使うには、Account APIを用いて新規ワークスペースを作成します。既存のワークスペースにセキュアクラスター接続を追加することはできません。