この記事について
以下の公式ドキュメントを、自分の理解のために翻訳したものです。
最新かつ正式な情報は公式ドキュメントをご参照ください。
見やすさのために、本文にはない見出しを適宜つけたり、ベタ書きの箇所を箇条書きにしたりしています。
また、理解を助けるために適宜訳注をつけています。
翻訳
環境作成の間の選択に応じて、セキュリティグループを Cloudera が当該環境用に自動で作成することも、既存のセキュリティグループを利用することも可能です。
セキュリティグループを自分で作成し選択した場合でも、Cloudera Data Engineering, Cloudera Data Warehouse および Cloudera AI サービスは各サービス用のセキュリティグループを自動作成します。アクセスを制限する方法は、Restricting access for Cloudera services that create their own security groups on AWS をご覧ください。
TCP/UDP の 0-65535 ポートおよび ICMP の通信は、Clouderaの環境、データハブ、データサービスが VPC 内で正常に稼働するために必要です。したがって、これらのポートを以下の説明のとおり開けておくようにしてください。
いくつかのサービスはウェルノウンの固定ポートのみを利用しますが、大部分のサービスは短命な（動的、あるいはランダムに割り当てられる）ポートに依存します。個別のポートの詳細な内訳なしに TCP/UDP の 0-65535 のワイルドカード指定が利用されるのはこれが理由です。VPC全体のアクセスは他の手段でセキュリティが担保されているため、ワイルドカードルールの利用は外部からの攻撃に対する大きなリスクとはなりません。
環境のセキュリティグループ
環境作成時の選択に応じて、セキュリティグループを Cloudera が当該環境用に自動で作成することも、既存のセキュリティグループを利用することも可能です。
- 作成済みのセキュリティグループを利用することを選択した場合は、セキュリティグループのドキュメントに記載のとおり
KnoxとDefaultのセキュリティグループを作成するよう求められます - Cloudera がすべての必要なセキュリティグループを作成することを選択した場合は、以下のセキュリティグループが作成されます。
Data Lake: master
AWSの命名規則：${環境名}-${ランダムなID}-ClusterNodeSecurityGroupmaster-${ランダムなID}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。（開ける場合は）自組織のCIDRに対して開ける必要があります。 |
| TCP | 443 | 任意のCIDR および Cloudera の CIDR | Knoxのゲートウェイを通じてデータレイクおよびデータハブのクラスタのUIに入る場合に必要なポートです。 このポートは、Cloudera AI を立てる場合にも必要です。なぜなら、Cloudera AI のワークベンチに対するHTTPSアクセスはポート443を通じて行われるからです。Cloudera AI のサービスを利用する予定がない場合は、このポートを開ける必要はありません。 CCMが有効になっている場合は、自環境のCIDRのみに設定できます。 |
| TCP | 9443 | Cloudera の CIDR | Cloudera がクラスタやデータレイクの管理の制御を維持するために必要です。 このポートは、CCMが有効になっている場合は不要です。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
Data Lake: IDBroker
AWSの命名規則：${環境名}-${ランダムなID}-ClusterNodeSecurityGroupidbroker-${ランダムなID}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
FreeIPA
AWSの命名規則：${環境名}-freeipa-${ランダムなID}-ClusterNodeSecurityGroupmaster-${ランダムなID}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。 |
| TCP | 9443 | Cloudera の CIDR | Cloudera がクラスタやデータレイクの管理の制御を維持するために必要です。 このポートは、CCMが有効になっている場合は不要です。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
データベース
AWSの命名規則：dsecg-dbsvr-${ランダムなID}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 5432 | 自組織のVPCのCIDR（10.10.0.0/16 など) | このポートは、データレイクが付属のデータベースと通信する際に利用します。 |
Data Hub のセキュリティグループ
Cloudera Data Hub: マスター
AWSの命名規則： ${クラスタ名}-${ランダムなID}-ClusterNodeSecurityGroupmaster-${random-id}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。（開ける場合は）自組織のCIDRに対して開ける必要があります。 |
| TCP | 443 | 任意のCIDR および Cloudera の CIDR | Knoxのゲートウェイを通じてデータレイクおよびデータハブのクラスタのUIに入る場合に必要なポートです。クラスタのUIにアクセスするためには、自組織のCIDRに対して開けておく必要があります。 CCMが有効になっている場合は、自環境のCIDRのみに設定できます。 |
| TCP | 9443 | Cloudera の CIDR | Cloudera がクラスタやデータレイクの管理の制御を維持するために必要です。 このポートは、CCMが有効になっている場合は不要です。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
Cloudera Data Hub: ワーカー
AWSの命名規則： ${クラスタ名}-${ランダムなID}-ClusterNodeSecurityGroupworker-${random-id}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
Cloudera Data Hub: コンピュート
AWSの命名規則： ${クラスタ名}-${ランダムなID}-ClusterNodeSecurityGroupcompute-${random-id}
| プロトコル | ポートの範囲 | ソース | 説明 |
|---|---|---|---|
| TCP | 22 | 任意のCIDR | エンドユーザーがクラスタのホストにSSHでアクセスする場合に、任意で開けるポートです。 |
| TCP,UDP | 0-65535 | 自環境のVPCのCIDR(10.10.0.0/16 など)およびサブネットのCIDR(10.0.2.0/24)など | VPCの内部での通信に必要です |
| ICMP | N/A | 内部のVPCのCIDR（10.10.0.0/16 など) | VPCの内部での通信に必要です |
Cloudera Data Warehouse のセキュリティグループ
Cloudera Data Warehouse をデプロイする際は、Cloudera が常に新しいセキュリティグループを作成します。
Cloudera AI のセキュリティグループ
Cloudera AI のワークベンチ をデプロイする際は、Cloudera が常に新しいセキュリティグループを作成します。
Cloudera Data Engineering のセキュリティグループ
Cloudera Data Engineering のクラスタ をデプロイする際は、Cloudera が常に新しいセキュリティグループを作成します。
Cloudera DataFlow のセキュリティグループ
Cloudera Data Flow の環境が有効化された際は、 Cloudera が常に新しいセキュリティグループを作成します。