2.設定編

Cloud Pak for Data as a Serviceハンズオンメニュー一覧

本記事では、上記の1.構築編によって準備されたSaaS環境にて、分析のために設定する手順を記載しています。

公式ドキュメント

IBM Cloud Pak for Data as a Service の公式ドキュメントはこちらをご参照下さい。

1.ガバナンス

以下の手順は、こちらの動画でも解説しています。

1.1.カテゴリーの追加

各種データ資産や成果物を分類しておくためのカテゴリーを作成しておきます。
カテゴリーについての公式ドキュメントはこちらを参考にして下さい。
IBM Cloud Pak for Data画面左上のハンバーガーメニューから、「ガバナンス」の「カテゴリー」をクリック。※グロッサリーを初期化するのに、少し時間がかかることがあります。しばらく時間が経過しても画面が変わらない場合には、ブラウザをリロードしてみてください。
「カテゴリー」画面右上の「新規追加(Add category)」から「新しいカテゴリー(New category)」をクリック。
任意で「カテゴリー名」や、「説明(オプション)」を入力し、「作成」ボタンをクリック
カテゴリーが作成されました。
カテゴリーをクリックして見てみます。
内部でサブカテゴリーを作成したり、アクセス制御を行うことが可能です。
サブカテゴリー作成例

1.2.ビジネス用語

各種データ資産などに紐付けて、ユーザがデータ等を検索しやすくするためにビジネス用語を事前に登録しておきます。
組織内部でのコミュニケーションを円滑にすすめるためにも、共通の語彙・用語集は必要です。その整備にも使える機能となります。
なお、組織でのコミュニケーションと語彙・用語集の必要性については、こちらのブログも参考にしてみてください。
無料のライト版では登録出来るビジネス用語は5つまでです。
ビジネス用語についての公式ドキュメントは、こちらを参考にして下さい。

1.2.1.ビジネス用語の追加

IBM Cloud Pak for Data画面左上のハンバーガーメニューから、「ガバナンス」の「ビジネス用語」をクリック。
画面右上の「ビジネス用語の追加」から「新規ビジネス用語」をクリック。
用語名、説明を入力します。
- ここでは「オンライン顧客」と入力して下さい。
1次カテゴリーの「変更」箇所を押して、先程作成したカテゴリを指定する。「ドラフトとして保存」ボタンで保存。
ドラフトとして作成されたビジネス用語。画面右上の「公開」をクリックして公開します。
コメントがあれば入力して、「公開」ボタンをクリック.
ビジネス用語が公開されました。

1.2.2.ビジネス用語の修正

ビジネス用語の内容を修正したい場合は、該当項目の箇所のペンマーク、あるいはプラスのマークをクリックします。
ここでは、画面右側の「スチュワード(Stewards)」の項目を追加します。
「スチュワード」とは、ビジネス用語を整備する役割を指し、データや用語の詳細な意味を確認したい場合に、それを尋ねる連絡先、という意味になります。
画面右上の「スチュワード(Stewards)」の右のプラスボタンをクリックします。
意味を確認する先のIDを選択し、「追加」をクリックします。
スチュワードとして追加されました。再びドラフト状態になりましたので、改めて「公開」をクリックします。
「公開」をクリックします。

1.3.分類

扱う情報に関する機密度などの分類を管理することができます。
今回は新たに作成せず、内容を確認するのみとします。
分類に関する公式ドキュメントは、こちらをご参考下さい。
ハンバーガーメニューから「ガバナンス」の「分類」をクリックします。

-表示されているように、「Confidential」「Personal Information」などの情報が記載されています。

「Confidential」の内容。関連する一次、二次のカテゴリーや、分類の中でも親子関係を構築できることがわかります。

1.4.データ・クラス

含まれるデータの型について定義するものです。
ライトプランでは、新しいデータクラスを作成できません。
データ・クラスに関する公式ドキュメントは、こちらをご参照下さい。
画面比左上のハンバーガーメニューから、「ガバナンス」⇛「データ・クラス」をクリックします。
事前定義されたデータ・クラスの一覧が表示されます。
以下はEmailAddressの内容です。
データの型の突き合わせについてはJavaクラスを使用しています。
データの突き合わせ方式は、複数の方式から選択が可能です。「突き合わせ方式」の横のペンマークを選択すると、内容を確認・選択できます。

1.5.データ保護ルール

データ保護ルールについての公式ドキュメントについては、こちらを参考にして下さい。

1.5.1.データ保護ルール作成

データのマスキングのための条件等を定めたルールを作成します。
ハンバーガーメニューから「ガバナンス」⇛「ルール」をクリック。

「ルールの追加」⇛「新規ルール」をクリック。

「データ保護ルール」をクリックして、「次へ(Next)」ボタンをクリック。

名前、説明を入力し、「基準」の箇所には合致条件を選択する。
- 例えば「データクラス」「次のいずれかを含む」「email address」「identifier」「Person Name」
- 例えば「タグ」「次のいずれかを含む」「個人情報」
- 例えば「分類」「次のいずれかを含む」「Personal Information」「Personal Identifiable Information」
アクションの箇所には、条件に合致した場合に取るアクションを選択する。
- 「データをマスク」「データ・クラス」「email address」「identifier」「Personal Name」
- 「データへのアクセスを拒否」

1.5.2.データ保護ルール確認

ルールが作成されたことを確認。

2.コラボレータ招待

データのマスキングは、データの管理者からはマスキングされたようには見えません。
そのため、別な環境のユーザをコラボレータとして招待し、マスキングしたデータを観てもらうための下準備の作業です。
- 準備として2段階あります。
  - A.IBM Cloudのユーザとして招待
  - B.Watson Knowledge Catalog のユーザとして招待。
- 以下では、A.の作業を実施します。
- ハンズオンの場においては、同時に受講される方、あるいは講師、あるいはご自分で既に持っているIBMid等を招待する対象としてみて下さい。
以下の手順は、こちらの動画でも解説しています。参考にしてみて下さい。

2.1.IAM管理画面からコラボレータ招待。

2.1.1.アクセス・グループの作成

画面右上のハンバーガーメニューから、「管理」⇛「アクセス（IAM）」をクリック。
（IBM Cloudの管理画面が新しいタブとして立ち上がります。）
画面左側の「アクセス・グループ」をクリックし、画面右側の「作成」をクリック。
名前と説明を入力。（ここではどちらも「WKC」とします。）
アクセス・グループ「WKC」が作成されました。次に画面真ん中の「ユーザーの追加」をクリックします。
自分自身のIDが表示されていますので、選択して「グループに追加」をクリックして追加します。

2.1.2.アクセス・権限の作成と割り当て

「Access」タブをクリックします。
「アクセス権限の割り当て」をクリックします。
「サービス」と書かれた下の検索窓に「Watson Knowledge Catalog」と入れようとすると、候補として挙がってくるので選択して「次へ」をクリックします。
「すべてのリソース」が選択された状態で「次へ」をクリックします。
「役割とアクション」の箇所で、今回は「ライター」と「エディター」を選択し、「レビュー」をクリックします。
「追加」をクリックします。
「割り当て」をクリックします。
アクセス権限「WKC」が作成されました。

2.1.3.アクセスグループへのユーザーの割り当て

「ユーザー」タブをクリックして、画面右側の「ユーザーの招待」をクリック。
「ユーザーの招待」画面
招待したいユーザーのメールアドレス（他の参加者の方等）を入力。
「どのようにアクセス権限を割り当てますか？」の箇所で、「アクセス・グループ」を選択。
「グループ」で先程作成したグループ「WKC」を選択して、「追加」をクリックします。
画面右側の「アクセス・サマリー」で、1ユーザー、1アクセスグループ、であることを確認し、「招待」をクリックします。これにより、対処メールアドレスに、招待リンクが付与されたメールが飛びます。
招待した相手のステータスは、「処理中」になっています。

2.2.招待された側の画面での操作

招待された方は、到着したメールから「Join Now」をクリック。
「招待を受け入れる」をクリック。（招待された側の画面です。）

ここまでが、招待された側の画面でした。

2.3.招待したユーザの状況を確認

招待した側のIBM Cloudの管理画面を見ると、招待されたアカウントの状況が「処理中」から「アクティブ」に代わっていることがわかります。
（招待した側の画面です。）

3.データカタログ

各種成果物を登録出来るカタログを作成します。
なお、ライト版で作成できるカタログは一つだけです。
データカタログに関する公式ドキュメントは、こちらをご参考下さい。
こちらの動画で、以下手順を解説していますので、参考にしてみてください。

3.1.カタログ作成

IBM Cloud Pak for Data画面左上のハンバーガーメニューから「カタログ」から「すべてのカタログを表示」をクリック。
「カタログを作成」をクリック。
名前と説明を入力し、ストレージを設定します。
IBM Cloud Object Storageがない場合には画面下の「ここ」をクリックして作成してください。
この記事では「データ保護およびデータ・ロケーション・ルールの適用」にチェックを入れています。
チェックを入れると、以下ポップアップが挙がってくるので、「OK」を押します。
以下のようにチェックが入ることを確認します。（カタログ作成後、このチェックは変更できなくなるので注意してください。）

3.1.1.ポリシーが適用されていることを確認。

「設定」タブを確認し、ガバナンスポリシーが適用されていることを確認。

3.2.各種データ資産追加

3.2.1. ローカル・ファイルの追加

画面右上の「カタログに追加」から「ローカル・ファイル」をクリック。
画面左上箇所に手持ちのcsvファイルをドラッグアンドドロップする。
なおこのファイルは手順の2.デモ用データを準備するにて作成したもの。
内容としては個人情報のようですが、実はこのサイトで生成した疑似個人情報なので、内容を公開しても問題はありません。
説明としては2020年度のオンライン顧客情報（ダミー）とし、ビジネス用語として「オンライン顧客」、タグとして「個人情報」「2020」を入力。
分類としては「Personal Information」と入力。
「ロケーション」「主権」に関しては今回（2023年2月末時点で）は使用しませんので、そのままにしておいてください。
「追加」ボタンをクリック。
ファイルが追加されたことを確認。

3.2.1.1. プロファイル画面での、データ・クラスの見直し

こちらの動画で、プロファイルの解説を行っていますので、参考にしてみてください。
プロファイルが完成している場合、データクラスを見直してみます。データ資産の「プロファイル」タブをクリックします。
なお完成していない場合は、少し待つために別な作業に入って下さい。
例えば人名の箇所が未分類だったりした場合は、別なデータクラス（Personal Name）等に修正します。
以下の例では、データ・クラスが「Identifier」のものを「Person Name」に編集します。
「Identifier」横の下向き矢印をクリックして「すべて表示」をクリック。
浮き出たウインドウの上部検索から文言を検索し、適切なデータクラスを選択して、「追加」をクリック。
データ・クラスが更新されたことを確認。

3.2.2.「接続」定義の追加

3.2.2.1.前提事項

以下の手順にて、Db2へのデータロードが完了していることが前提となります。
- IBM Cloud Pak for Data as a Service ハンズオン資料（a.Db2へのデータロード編）2021年7月作成

3.2.2.2.接続の登録作業

カタログ画面右上の「カタログに追加」から「接続」をクリック。
「db2」を選んで、「選択」ボタンをクリック。
接続に必要な情報を入力。
画面右上の「接続のテスト」ボタンをクリックして、設定により正しく接続されたことを確認し、「作成」をクリック。
接続が登録されました。

3.2.3.「接続された資産」の追加

接続を登録した後のデータカタログにて、画面右上の「カタログに追加」から「接続された資産」をクリック。
「ソースの選択」ボタンをクリック
先程登録したデータソースをクリックして、スキーマ、テーブルを選んで、選択をクリック。
名前、説明、ビジネス用語、を入力。
タグ、分類を入力して追加をクリック。プライバシーは今回はパブリックのままで良いです。
データ資産として登録されました。

3.2.4.メタデータインポートによるデータ資産のカタログへの追加

こちらのリンク先にて手順をご参照ください。

3.3.カタログの「アクセス制御」画面からコラボレータ招待。

データのマスキングは、データの管理者からはマスキングされたようには見えません。
そのため、別な環境のユーザをコラボレータとして招待し、マスキングしたデータを観てもらうための下準備の作業です。
- 準備として2段階あります。
  - A.IBM Cloudのユーザとして招待
  - B.Watson Knowledge Catalog のユーザとして招待。
- 以下では、B.の作業を実施します。
- ハンズオンの場においては、同時に受講される方、あるいは講師、あるいはご自分で既に持っているIBMid等を招待する対象としてみて下さい。
カタログへのコラボレータの追加についての公式ドキュメントは、こちらを参考にして下さい。
招待する側は、カタログの「アクセス制御」タブをクリックし、画面右側の「コラボレータの追加」をクリック。
権限を、例えばビューアとして、招待したユーザのメールアドレスを選択して、「追加」をクリック。

「アクセス制御」画面に、ビューアとして新たにユーザが追加されていることを確認。

3.4.招待されたユーザ側で、マスキングを確認。

（ここからは招待されたユーザー側の画面になります。）

招待されたユーザは、「すべてのカタログ」画面で新たにカタログが追加されていることを確認。（ビューアーと表示されているもの）

当該カタログを確認し、データ資産を確認する。

データ資産の「プロファイル」タブをクリックすると、個人として特定されそうな情報がマスクされていることが確認できます。
データ資産の「資産」タブを確認する。マスキングされていることがわかります。
（以下の例では、「電話番号」が無意味な文字に変換されています。）
ある程度時間が経つとマスクされたデータが表示されます。
ここでは、以下のものがマスキングされています。
- データ・クラスが「Person Name」である「氏名」「氏名（ローマ字）」
- データ・クラスが「Identifier」である「電話番号」

4.プロジェクト作成

プロジェクトとは、テーマやチーム毎に作成される、分析を行うためのある種のサンドボックス的な位置付けの箱のようなものです。ここで様々なデータや分析ツールを一元管理できます。
プロジェクトに関する公式ドキュメントについてはこちらを参考にして下さい。
ハンバーガーメニューから、「すべてのプロジェクトを表示」をクリック。
「新規プロジェクト」をクリック。
「空のプロジェクトを作成」をクリック。
プロジェクト名や説明を入力、ストレージが設定されていることを確認して、「作成」をクリック。

5. メタデータインポート

以下記事を参考に、メタデータを一括でインポートしてみてください。
メタデータインポートを使ってSnowflakeの超巨大テーブル群から一括でメタデータを取り込んでみた。

6. メタデータエンリッチメント

以下記事を参考に、メタデータへの用語の紐付け、品質分析等を自動化してみてください。
Watson Knowledge Catalog on CP4DaaS　/　Metadata Enrichment 機能について
Watson Knowledge Catalog for CP4DaaS の Metadata Enrichment でビジネス用語を自動アサインしてみた

次のハンズオン

3.分析編はこちらです。