メタデータインポートを使って複数のデータソースから一括でメタデータを取り込む
この記事の位置づけ
- この記事は、[datatech-jp Advent Calendar 2022] (https://qiita.com/advent-calendar/2022/datatech-jp) の12/21分として記載します。
- SaaS版のデータカタログであるWatson Knowledge Catalogにおいて、メタデータインポート機能を使って、スキーマごとに一括でテーブルを取り込んでみます。
前提事項
- メタデータインポートを実施するプロジェクトと呼ばれる箱を準備する
- ここでは「metadata-pj-in-ibm」というプロジェクトを準備します。
- メタデータを取り込む元となるデータソースへの接続情報画、上記プロジェクトに格納されていること。
- ここではSnowflakeへの接続情報を格納します。
メタデータインポートを作成
- 作業場所となるプロジェクトの画面右上の青い「新規資産」ボタンをクリックします。
- 画面左上の「メタデータのインポート」パネルをクリックします。
- メタデータの名前、説明、タグ、を入力し、画面右下の青い「次へ」ボタンをクリックします。
- メタデータを取り込む先のプロジェクトあるいはカタログを選択します。ここではこのプロジェクト内にそのまま取り込むこととします。
- メタデータを取り込む元となるデータソースを選択します。画面真ん中の「接続の選択」ボタンをクリックします。
- メタデータを取り込む対象を選択します。ここでは対象となるSnowflake配下のすべてのスキーマをどかんと一括で取り込んじゃいましょう。
- たしか６０億行くらいあるテーブルもあったはずですが、メタデータを取り込むだけなので、元テーブルの巨大さはあまり関係ないはずです。
- 対象となるチェックボックスを選択し、画面右下の青い「選択」ボタンをクリックします。
- 選択された対象を確認し、「次へ」をクリックします。
- スケジュール設定画面になります。ここでは何も設定せず（スケジュール：オフ の状態）、そのまま画面右下の青い「次へ」ボタンをクリックします。
- しかし、仮にスケジューリングする場合は以下のように実施します。
- こちらの場合では、以下のような設定例となります。
- バッチジョブの開始日時：2022/12/22の20時
- 繰り返し：有り
- 繰り返す頻度：毎日20時
- 除外する曜日：土曜日、日曜日
- 終了日：2023年12月31日 20時
- こちらの場合では、以下のような設定例となります。
- 繰り返しメタデータをインポートする場合、どの項目を更新するかを選択します。
- 設定項目のまとめ画面で、内容を確認します。問題なければ画面右下の青い「作成」ボタンを作成します。
- しばらくするとメタデータインポートの管理画面が表示されます。
- 「更新」ボタンを押すと取り込まれたメタデータの一覧が表示されてきます。
- 取り込み先のプロジェクトを見ると、すでに多数のデータ資産が取り込まれていることがわかります。
- どういうわけか失敗したという表示が出ました。。。
- 画面右上の通知を見るとエラーメッセージが確認できます。
- また、プロジェクトの「ジョブ」タブから、先程実行したジョブのログも確認できます。
- 失敗：１ と出ています。詳細を確認するには、実行の日時の箇所をクリックします。
- ジョブのエラーログが確認できます。
- ８６テーブルあるうちの、３テーブルが失敗したようです。
- ログの詳細も観てみます。
- これ以上の詳細については、サポートとの確認が必要ですかねえ。Read Timed Out と出ていましたが、タイムアウトかなあ。
- あとで再実施したらすべて正常終了しました。
結果確認
WKC側の確認
- プロジェクトに取り込まれたデータ資産を観てみます。タグとしては、所属するスキーマ名がタグになるようです。
Snowflake側の確認
- 以下はおまけですが、Snowflake側での確認もしてみます。
- リクエストの一つを観てみると、以下のようになっています。
再インポートしてみる。
-
再度インポートしてみます。画面右上の青い「アセットの再インポート」をクリックします。
-
「再インポート」をクリックします。
-
今度はうまくいきました！
-
ジョブも成功したジョブが表示されています。
-
ログとしては以下のようになっていました。
効果
- 80を超えるテーブル群のメタデータを、少しのエラーはありましたが、15分もかからずにすべてを自動的に取り込むことができました。
最後に
この記事としては以上です。
この次としては、取り込んだメタデータに対してビジネス用語等を紐付けるメタデータエンリッチメントについての記事も書いてみたいと思います。
もしこの記事を読んで興味を持たれた方は、この記事の大本となる、IBM Cloud Pak for Data as a Service ハンズオン資料 目次 から内容を見てみてください。