概要

Google Dataplex にて BigQuery に対する Sensitive Data Discovery の実行結果を表示してみました。下記のようにタグが設定されるようです。

センシティブデータを検出するサービスとして Cloud DLP (Data Loss Prevention)というサービスがあったようなのですが、Sensitive Data Discovery というサービスに組み込まれたようです。

Cloud Data Loss Prevention (Cloud DLP) is now a part of Sensitive Data Protection. The API name remains the same: Cloud Data Loss Prevention API (DLP API). For information about the services that make up Sensitive Data Protection, see Sensitive Data Protection overview.

引用元：データプロファイル | Sensitive Data Protection Documentation | Google Cloud

Cloud Data Loss Prevention(Cloud DLP)は、Sensitive Data Protection の一部になりました。API の名前は Cloud Data Loss Prevention API(DLP API)のままです。Sensitive Data Protection を構成するサービスの詳細については、「Sensitive Data Protection の概要」を参照してください。

上記の翻訳

引用元：データプロファイル | Sensitive Data Protection Documentation | Google Cloud

Sensitive Data Discovery の実行結果に基づきタグを実行したいと考えて、当初は Dataplex にタグを設定する手順を検証しましたが、BigQuery にデータを格納したほうがタグ付けする際には容易に利用できる可能性もあります。Dataplex と BigQuery のどちらにもデータを登録できるため、どちらにも登録する方がいいかもしれません。

本記事では、下記のサービスを利用できることを前提としています。

BigQuery
Dataplex
Sensitive Data Protection

実施手順

1. BigQuery にテーブル作成とデータの挿入を実施

1-1. テーブル作成

CREATE OR REPLACE TABLE bq-publisher-01.data_profiling_test.profile_table_10 ( 
  ID STRING,
  family_namae STRING,
  First_name STRING,
  mail_address STRING,
  address STRING,
  Customer_Lever STRING,
  Description STRING
);

1-2. データの挿入

INSERT INTO
  bq-publisher-01.data_profiling_test.profile_table_10 (
    ID,
    family_namae,
    First_name,
    mail_address,
    address,
    Customer_Lever,
    Description
  )
VALUES 
  ('1', 'Yamada', 'Taro', 'taro.yamada@example.com', 'Tokyo', 'Gold', 'First customer'),
  ('2', 'Suzuki', 'Hanako', 'hanako.suzuki@example.com', 'Osaka', 'Silver', 'Second customer'),
  ('3', 'Tanaka', 'Ichiro', 'ichiro.tanaka@example.com', 'Nagoya', 'Gold', 'Third customer'),
  ('4', 'Sato', 'Jiro', 'jiro.sato@example.com', 'Fukuoka', 'Bronze', 'Fourth customer'),
  ('5', 'Kobayashi', 'Saburo', 'saburo.kobayashi@example.com', 'Sapporo', 'Silver', 'Fifth customer');

1-3. データの確認

SELECT * FROM bq-publisher-01.data_profiling_test.profile_table_10  LIMIT 5

2. Sensitive Data Protection （Cloud Data Loss Prevention API）を実行

2-1. Navigation Menu にて `Security` -> `Sensitive Data Protection`を選択

2-2. `DISCOVERY` -> `SCAN CONFIGURATION` -> `+ CREATE CONFIGURATION`を選択

2-3. `Select a discovery type`にて`BigQuery`を選択

2-4. `Select scope`にて`Scan one talbe(test mode)`を選択して作成したテーブルを指定。

2-5. `Manage Schedules`にてデフォルトのまま`CONTINUE`を選択

2-6. `Select inspection template`にてデフォルトのまま`CONTINUE`を選択

2-7. `Add actions`にて`Send to Dataplex as tags`にチェックが入っていることを確認の上`CONTINUE`を選択

2-8. `Set location to store configuration`にてデフォルトのまま`CONTINUE`を選択

2-9. `Review and create`にてデフォルトのまま`CREATE`を選択

2-10. `Confirm configuration creation`ウィンドウにて`CREATE CONFIGURATION`を選択

2-11. `DISCOVERY` -> `PROFILES`をクリックして作成した Cofiguration が作成されたことを確認（下記図では一番下の項目）し、実行が完了されることを待機

2-12. 作成した Cofiguration が完了したことを確認

3. Dataplex にて確認

3-1. 作成した Configuration の詳細ページにて`Dataplex entry`という項目の値をクリック

3-2. Dataplex の画面に移動後、`Tags`にタグが追加されたことを確認。

実行結果を BigQuery に書き込む際の追加の手順

1. Configuration 作成時の`Add actions`の`Save data profile copies to BigQuery`にて書き込み先のテーブル名を指定

2. 指定したテーブル名に`latest_v1`というものが不可されたテーブルに json 形式で格納されていることを確認