はじめに
Informatica Intelligent Data Management Cloud(IDMC/旧称IICS)でのちょっとしたTipsを纏めていきます。日々の活動の中で検証した結果記録であり、忘れやすい自分のためのメモですが、少しでも皆様のお役に立てればと思い公開していきます。記述方法など試行錯誤しており随時更新するかもしれません。
”データ転送タスク"とは
データ転送タスクはウィザード形式で簡単にデータ連携処理を実装/実行できる、”データ統合[Cloud Data Integration - CDI]"の一機能です。
データ統合には多くの機能がありますが以下のような機能配置となっています。
| 機能 | 略称 | 用途 |
|---|---|---|
| DataIntegrationタスク(マッピング/マッピングタスク) | CDI MCT | マッピングを作成、複雑なデータ統合やクレンジングにも対応。 |
| データ転送タスク | CDI DTT | ウィザード形式で簡単データ連携。簡単な結合といくつかの変換に対応。 |
| CDIR Cloud Data Ingestion & Replication(旧Mass Ingestion) | CDIR | 大量データのレプリケーション・取り込み。差分連携やストリーミングに対応。 |
上記をもう少し細かく表にすると以下のような感じになります。
| 用途 | CDI MCT | ★CDI DTT★ | CDIR |
|---|---|---|---|
| 連携できる接続先・Source/Target | 多 | 多(CDI MCTと同じ) | 限定 |
| データ変換・利用部品 | 多 | 限定(ソート・フィルタ・関数による変換と結合) | 無し(基本レプリカのみ) |
| 連携処理作成 | 多彩・複雑な連携に対応 | 簡単(ウィザード) | 簡単(ウィザード) |
| 挿入・更新・削除 | 可能 | 可能 | 一部の組み合わせのみ対応(監査・論理削除モード) |
| データ差分連携 | 可能 | - | 可能 |
| データ品質(CDQ)部品利用 | 可能 | - | - |
| データマスキング | 可能 | - | - |
上記のように、”データ転送タスク"は従来のマッピングを作成するマッピング/マッピングタスクと簡単ウィザードでのCDIRタスクの”良いとこ取り”の便利機能となっていますので是非ご利用してみてください。
事前準備1 ： SecureAgentGroupにて必要なサービスを設定(基本的に追加設定不要)
データ転送タスクはCDIと同じ”Data Integration Server”サービスを利用します。基本的にこのサービスは起動されている物ですので、特に新たな設定は不要と言う事です。
事前準備2 ： ユーザ権限/ロールの確認・付与
該当ユーザに対し、データ転送タスクを作成したり実行するための権限を付与します。
必要な権限はロール設定画面の ”データ統合” サービスにすべて纏められています。
尚、デフォルトで用意されているロール”デザイナ”にはすべての権限が付与されていますので、こちらを利用するのも良いと思います。
例) ユーザにデザイナロールを割り当てる
- 管理者->ユーザーの該当ユーザ名をクリック
- ”デザイナ”ロールを割り当てる
事前準備3 ： アドオンバンドルをインストールする
マニュアルには記載が無い落とし穴ポイントとしてこのKBの通り管理者メニューにてアドオンバンドルをインストールする必要があります。
管理者 -> アドオンバンドル に移動し、以下のように「利用可能なバンドル」から
- Data Transfer Templates
- Data Transfer Templates V2
をインストールします。
この手順を実施しないと、データ転送タスク実行時に以下のエラーが発生します。
以上で事前準備は完了です。
データ転送タスクを作成して利用してみましょう。
データ転送タスクの利用
データ転送タスクは”データ統合”に移動して作成します。
データ統合のホーム画面下部にショートカットボタンがあります。こちらをクリック。
あとはウィザードに従って設定していけばOKです。この画面で実行も可能。画面はCDIRに似ていますね。
ソース設定画面
別のソースと結合してテータを付加する場合に利用する「2番目のソース」
ターゲット設定画面
フィールドマッピング設定画面
ランタイムオプション設定画面
実行！
ウィザードがわかりやすいのですぐ利用出来ると思います。ぜひ使って見て下さい。
まとめ
CDIRのようなウィザード形式で簡単にデータ統合を作りたい。ただ、CDIRに対応していないデータはどしたら良いかな、、と言う場合には今回ご紹介した”データ転送”タスクがお役に立つかもしれません。データ転送では基本的に通常のマッピングと同じデータソース/ターゲットに対応しますので利用の幅は広いと思います。
IDMCは単なるETLツールでは無く、上記のようなレプリケーション機能やAPIマネジメントなども実装できます。是非ご活用ください。簡単ですが以上です。
検索用
Informatica / IDMC / Intelligent Data Management Cloud / IICS / Data Integration / CDI / CMI / CDIR / Mass Ingestion / CDQ / CDP / Profiling / CDGC / CDMP / CLAIRE / AI / SecureAgent / ランタイム / マスインジェスチョン / データ転送 / Data Transfer Task / Snowflake / Google Big Query / GCP / Azure