Cloudera on Cloud の環境設定 - AWSのプライベートVPCを設定する

この記事について

以下の公式ドキュメントを、自分の理解のために翻訳したものです。

最新版は公式ドキュメントをご参照ください。

見やすさのために、本文にはない見出しを適宜つけたり、ベタ書きの箇所を箇条書きにしたりしています。
また、理解を助けるために適宜訳注をつけています。

翻訳

Cloudera の環境を作成する際に、2つの選択肢があります。

• Cloudera にプライベートネットワークとセキュリティグループを作らせる
• 自分で設定したプライベートIPを使ったVPCとセキュリティグループを設定する

訳注：この記事の執筆時点（2025/3/12）では、前者の方法だと、IPの範囲が/16必要。それより狭い範囲のIPに絞りたい場合は、後者の方法で環境作成する必要があります。
必要なIP範囲の計算方法はこちらの記事をご参照ください。

どちらの方法でも、CCMを有効化する必要があります。

訳注：CCMはデフォルトで有効なので、この記述については特に気にしなくて大丈夫です。
CCMについての詳細はこちらの記事をご参照ください。

Cloudera にプライベートネットワークとセキュリティグループを作らせる場合

CCMのテストやサンドボックス目的でCloudera にプライベートネットワークとセキュリティグループを作らせる場合、CCMを有効にすると、Clouderaが以下を実行します。

• 3つのパブリックサブネットと3つのプライベートサブネットを作成する
• データレイクとデータハブクラスタをそのプライベートサブネットの中に作成する

上記に Data Service （Data Warehouse, Data Engineering, Data Flow など）が含まれていないのはなぜか？ Data Service は作成するときに改めてサブネットを選ぶから？ （確認中）

パブリックサブネットにはインターネットゲートウェイがアタッチされています。
プライベートサブネットにはNATゲートウェイがアタッチされています。

Cloudera がセキュリティグループを作成する際、22と443の2つのポートを指定したCIDR範囲に対して開きます。これらのポートは、これらのクラスタにアクセスするためだけに使います。

Cloudera が作成するセキュリティグループのルール一覧は、Default security group settings on AWS（ドキュメント、英語）を参照してください。

プライベートVPCとセキュリティグループを自分で設定する場合

自分自身でプライベートIPを持つVPCを設定する場合、以下が必要です。

• 最低でも2つのプライベートサブネットを、2つの異なるAZに作成すること
• ClouderaがホストするワークロードノードのNLBに対して、CCMが開始するHTTPSの外向き通信ができること

AWSのコンソールで、以下のように設定してください。

1. パブリックサブネットを作成し、NATゲートウェイを置いてプライベートサブネットからの外向き通信を可能にする
2. パブリックサブネットにインターネットゲートウェイを配置する
3. すべての内向き通信がプライベートサブネットに向くようにする
4. 3つのプライベートサブネットを作成する。プライベートサブネットは3つの異なるAZに配置する
5. プライベートサブネットの通信をNATゲートウェイにルーティングする
6. Cloudera のリソースに対する外向き通信を設定する
7. CCM（Knoxマスターもしくはクラシッククラスターの Cloudera Manager）を含むワークロードクラスタはネットワークロードバランサ（NLB）に到達できる必要があります。NLBへの接続には、ポート443が使えます。

Security groupsのページにしたがってセキュリティグループを作ります。