はじめに
Informatica Intelligent Data Management Cloud(IDMC/旧称IICS)でのちょっとしたTipsを纏めていきます。日々の活動の中で検証した結果記録であり、忘れやすい自分のためのメモですが、少しでも皆様のお役に立てればと思い公開していきます。記述方法など試行錯誤しており随時更新するかもしれません。
この記事のゴール：IDMC データ統合における Google Big Query への接続と連携が作成出来るようになる
この記事ではGoogle Big Queryへの接続設定とマッピング作成時の設定において、マニュアルだけでは判りづらい所をメモしています。
- Google Big Query への接続の設定
- マッピング作成時のターゲット設定
尚この記事の内容は、R41 で検証しています。
参照情報
マニュアル：
Data Integreation Connectors:Google BigQuery Connectors
Google Big Query 接続の設定
Googleアカウントが有り、Google側にプロジェクトが作成されており、且つ、Google Cloud Storage 及び Google Big Queryが利用できるようになっている前提とさせて頂いています。
コネクタは ”Google Big Query V2”タイプを選択します。
基本的にマニュアルの記載の通り設定することで接続は作成出来ます。が、接続が作成出来ても実行時にエラーが起こる場合があるのがやっかいなところですね。ということで設定を公開します。今回は以下の部分を埋めたことでマッピングが正常に実行できました。最低限以下の所を設定すればOKかとおもいます。
何処の情報を使えば良いのか判りづらい為、画面ショットを元に説明します。
- Storage Path: これは "Google Cloud Storage"のbucket名(＋フォルダ名)を記述します。記述フォーマットはマニュアルにある通り、
gs://<bucket name>
gs://<bucket name>/<folder_name>
とします。
- Dataset Name for Custom Query: これは "Google Big Query"のData Set名を記述します。
- Region Id: 自分が最後まで填まってしまったのがココ。BigQueryのデータセットのロケーションを入力しますが、例えばus-east1等のこまかいRegion名では実行時にエラーとなってしまいます。ここは下記のとおり「データのロケーション」の文字 ここでは US と入力するのが正解です。要注意ポイント。
マッピング作成：ターゲット設定
CSVファイルをソースとして、Google Big Queryにデータを投入する簡単なマッピングです。ターゲットとしてBigQueryを指定し、データ投入時にテーブルを新規作成しています。
ターゲット プロパティの設定画面です。
ここでオブジェクトの設定は以下の通り。
- オブジェクト名 : 必須項目。任意の文字列を入力すればOKで、この名称でGBQにテーブルが作成されデータ投入されます。
- パス : 冒頭にスラッシュ(/)を記述し、続けてデータセット名を入力します。
これで実行可能となりました。
以上、自分が填まったところを記述してみました。何かのお役に立てば幸いです。