LoginSignup
0
0

More than 3 years have passed since last update.

【GCP】組織ポリシー VS. Dataflow VS. Private Google Access

Last updated at Posted at 2021-06-13

前回の投稿のとおり、外部IPを制限する組織ポリシーconstraints/compute.vmExternalIpAccess)を入れてDataflowジョブを実行したところ、ジョブが失敗しました。

Dataflowの設定を変更して、この事象を回避できるか実験をしましたので、順番に見ていきます。

Step1:ワーカーIPアドレスの構成を変更する

Dataflowのジョブの詳細設定にワーカーIPアドレスの構成を変更するという設定がありますので、そこをプライベートに変更しました。
10.jpg

この設定でジョブを実行しました!結果はどうなったかというと・・・
失敗でした:disappointed_relieved:

11-2.jpg

内部IPアドレスのみの設定の場合、GCPのサービスに接続できず、エラーとなりました。
さらなる回避策ですが、エラーメッセージに出力されているとおり、Private Google Accessをする必要がありそうです。

Private Google Access

Private Google Accessを使用すると、内部 IP アドレスしか持たない VM インスタンス(外部 IP アドレスなし)がGoogle API とサービスにアクセスできるようになります。
詳細はこちらです。

Step2:Private Google Accessを使用してDataflowジョブを実行する

それではDataflowでPrivate Google Accessを使用できるように設定していきます。

まずはカスタムモードでVPCネットワークを新規作成(詳細略)した後、手動でsubnetを作成しました。こちらのサブネットで、Private Google Accessをオンにしました。
13-2.jpg

Dataflowジョブの設定に戻りまして、ジョブの詳細設定でサブネットを設定できますので、Private Google Accessをオンにしたサブネットを指定します。
14-2.jpg

この設定でジョブを実行すると・・・
ジョブが成功しました!!:blush:

17.jpg

まとめ

  • 外部IPを制限する組織ポリシーを入れた環境でDataflowを動かすことができました。
  • Google CloudのDataflowに関するページはコチラになります。
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0