LoginSignup
5

More than 3 years have passed since last update.

Cloud ComposerとCloudNATで、Airflow WorkerのIPアドレスを固定する

Last updated at Posted at 2019-10-29

やりたいこと

Cloud ComposerのAirflow WorkerからのアクセスをIPアドレス固定したい。

手順

ComposerのworkerはGKE上で動いているので、GKEでのCloudNATと同じような手順で出来ます。

  1. VPC・サブネット作る(GKEでのCloudNATのStep1)
  2. CloudNATを設定(GKEでのCloudNATのStep6
  3. プライベート IP Cloud Composer 環境を作る
    1. Airflowコマンドを使ったりSSHでworkerに入りたい人は、後述の「GKEマスタへのアクセス」の設定が必要

細かい注意点

ComposerのVPCネイティブとプライベートIP環境はベータ

ので、Composer環境作る時にベータ機能を有効にする必要があります(下図)
スクリーンショット 2019-10-30 8.24.56.png

Airflowコマンドを使いたい・Airflow workerに入りたい

Composerではgcloud composer environments runでAirflowのコマンドを実行出来ます(※)。
※ 全部のコマンドが実行出来るわけではないです

プライベートIP環境で実行するには、Composer環境を作る時に「外部 IP アドレスを使用して GKE マスターにアクセスする」の設定が必要です(下図の項目)。
アクセス元のIPアドレスの範囲を設定してあげてください。

kubectlコマンドでAirflow workerに入ったりしたい時にも必要です。

スクリーンショット 2019-10-30 8.24.43.png

補足

普通のComposer環境ではなく、プライベートIP環境(パブリックIP(external IP)持たない環境)なのは、Cloud NATがパブリックIPを持たないインスタンスからしか使えないためです。

If your VM has an external IP address, then packets sent from the primary IP address of that interface do not use Cloud NAT.

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
5