概要

Dataplex にて他プロジェクトの BigQuery のテーブルに対して Data Profile を実施する方法を共有します。

Data Profile 作成時に別のテーブルを指定することができますが、権限不足であるというエラーが発生します。

An error occurred while creating the profile. Please try again.
Permission denied for Dataplex Service Agent (service-241625037743@gcp-sa-dataplex.iam.gserviceaccount.com) to access source BigQuery table [project:publisher-01, dataset:publisher01, table:sample_01]. Dataplex Service Agent should have bigquery.tables.get permission for the specified table to create a DataScan for it. Please grant bigquery.tables.get permission for the specified table via appropriate IAM roles e.g. BigQuery Data Viewer.

Dataplex Service Agent （Dataplex サービスアカウント）にアクセス権を付与が必要であるとドキュメントに記載されています。本記事では、その対応方法を提示します。ただし、付与するロールがBigQuery Data Editorであることから最小限の権限でない可能性があることに注意してください。

BigQuery テーブルとデータプロファイルスキャンが異なるプロジェクトにある場合、Dataplex サービスアカウントに、対応する BigQuery テーブルの読み取り権限を付与する必要があります。

引用元：データプロファイルスキャンを作成して使用する | Dataplex | Google Cloud

エラーの再現方法

1. Dataplex にて`Profile` -> `CREATE DATA PROFILE SCAN`を選択

2. `Define scan`にて`ID`に適当な名前を入力し、`table`に他のプロジェクトのテーブルを指定して`CONTINUE`を選択

3. `Additional settings (optional)`をデフォルトのままで`CREATE`を選択

4. エラーとなることを確認

An error occurred while creating the profile. Please try again.
Permission denied for Dataplex Service Agent (service-241625037743@gcp-sa-dataplex.iam.gserviceaccount.com) to access source BigQuery table [project:publisher-01, dataset:publisher01, table:sample_01]. Dataplex Service Agent should have bigquery.tables.get permission for the specified table to create a DataScan for it. Please grant bigquery.tables.get permission for the specified table via appropriate IAM roles e.g. BigQuery Data Viewer.

エラーへの対応方法

1. Dataplex Service Agent に対して Scan 対象のオブジェクトへの権限付与を実施する方法

1-1. `IAM & Admin` -> `IAM`を選択し、`GRANT ACCESS`を選択

1-2. `Add prinpals`にて Dataplex Service Agent を指定し、`Assign roles`にて`BigQuery Data Editor`を選び`SAVE`を選択

1-3. Dataplex の画面に戻り、`CREATE`を再度選択

1-4. Data Profile が作成されたことを確認し、`RUN NOW`を選択

1-5. 処理が完了することを確認