Glueにおける自己参照ルールの補足
ドキュメントを確認すると以下のように書かれている
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/setup-vpc-for-glue-access.html
AWS Glue がコンポーネントと通信できるようにするには、すべての TCP ポートに対して自己参照のインバウンドルールを持つセキュリティグループを指定します。自己参照ルールを作成することで、ソースをすべてのネットワークではなく VPC 内の同じセキュリティグループに制限することができます。
要約すると、GlueがVPC内に接続する場合は、Glueの接続に設定するセキュリティグループに自己参照ルールが必要
やり方は2つできそう
① RedshiftやRDSのセキュリティグループをGlueでも使う
RedshiftやRDSにアタッチされているセキュリティグループに自己参照ルール(自分のSGにすべて許可)を書き
そのセキュリティグループをGlueが使う
これで、GlueからRedshiftやRDSへ通信可能になる
- 適用前
- 適用後
② Glue用のセキュリティグループを作る
自己参照ルール(自分のSGにすべて許可)を書いたGlue用のセキュリティグループ(SG2)を作り
それをGlueにアタッチし
Redshift,RDSのセキュリティグループにGlueのセキュリティグループ(SG2)からの通信許可を書く
これで、GlueからRedshiftやRDSへ通信可能になる
※こちらのやり方の方が直感的な気がする
- 適用前
- 適用後
※アウトバウンドはどちらも"すべてのTCP"を"0.0.0.0/0"で"許可"している
こちらも是非
複数VPCをまたぐパターンの公式ブログ
https://aws.amazon.com/jp/blogs/news/connecting-to-and-running-etl-jobs-across-multiple-vpcs-using-a-dedicated-aws-glue-vpc/
Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f