Help us understand the problem. What is going on with this article?

Cloud ComposerとCloudNATで、Airflow WorkerのIPアドレスを固定する

やりたいこと

Cloud ComposerのAirflow WorkerからのアクセスをIPアドレス固定したい。

手順

ComposerのworkerはGKE上で動いているので、GKEでのCloudNATと同じような手順で出来ます。

  1. VPC・サブネット作る(GKEでのCloudNATのStep1)
  2. CloudNATを設定(GKEでのCloudNATのStep6
  3. プライベート IP Cloud Composer 環境を作る
    1. Airflowコマンドを使ったりSSHでworkerに入りたい人は、後述の「GKEマスタへのアクセス」の設定が必要

細かい注意点

ComposerのVPCネイティブとプライベートIP環境はベータ

ので、Composer環境作る時にベータ機能を有効にする必要があります(下図)
スクリーンショット 2019-10-30 8.24.56.png

Airflowコマンドを使いたい・Airflow workerに入りたい

Composerではgcloud composer environments runでAirflowのコマンドを実行出来ます(※)。
※ 全部のコマンドが実行出来るわけではないです

プライベートIP環境で実行するには、Composer環境を作る時に「外部 IP アドレスを使用して GKE マスターにアクセスする」の設定が必要です(下図の項目)。
アクセス元のIPアドレスの範囲を設定してあげてください。

kubectlコマンドでAirflow workerに入ったりしたい時にも必要です。

スクリーンショット 2019-10-30 8.24.43.png

補足

普通のComposer環境ではなく、プライベートIP環境(パブリックIP(external IP)持たない環境)なのは、Cloud NATがパブリックIPを持たないインスタンスからしか使えないためです。

If your VM has an external IP address, then packets sent from the primary IP address of that interface do not use Cloud NAT.

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away