はじめに
Informatica Intelligent Data Management Cloud(IDMC/旧称IICS)でのちょっとしたTipsを纏めていきます。日々の活動の中で検証した結果記録であり、忘れやすい自分のためのメモですが、少しでも皆様のお役に立てればと思い公開していきます。記述方法など試行錯誤しており随時更新するかもしれません。
”CDIR - Cloud Data Ingestion and Replication(旧名 Mass Ingestion)"とは
SAPやSalesforceのデータ、またOracleやSQL Server等に蓄積されたデータを活用する為にDatalakeやDWHへコピーしたいという場合に、Informaticaでは特別使いやすい機能をご用意しています。それが”CDIR - Cloud Data Ingestion and Replication(旧名 Mass Ingestion)"です。昨今の大量なデータを素早く利活用するためには夜間バッチなどを待たずにリアルタイムでどんどん分析基盤に回していきたいですよね、と言う用途に答える物で、データソースにより以下の4種の機能を用意しています。
機能 | 略称 | 用途 |
---|---|---|
アプリケーション取り込みおよびレプリケーションタスク | CDIR APP | SAPやSalesforce等アプリケーションデータのレプリケーション・取り込み。 |
データベース取り込みおよびレプリケーションタスク | CDIR DB | OracleやSQLServer等のRDBMS系データのレプリケーション・取り込み |
ファイル取り込みおよびレプリケーションタスク | CDIR File | CSVやJson/Parquet等のファイルデータのレプリケーション・取り込み |
ストリーミング取り込みおよびレプリケーションタスク | CDIR Streaming | ストリーミングデータの継続取り込みレプリケーション |
過去にCDIR(MassIngestion)に関する記事を書いてます。こちらも是非参照ください。
とっても便利なMass Ingestionの効果的な使い所
IDMC Cloud Mass Ingestion Database を使ってみた
事前準備1 : SecureAgentGroupにて必要なサービスを設定
CDIRは大量データを一気に処理できるサービスであるためSecureAgentに求められる必要最低要件が高めに設定されています。マニュアルをご確認ください。
マニュアル Data Ingestion and Replication
各CDIRを実行するためにはSecureAgentで該当のサービスが起動している必要があります。
-
管理者メニュー->ランタイム環境にて、利用するSecureAgentグループのメニューから「サービス、コネクタの有効化または無効化」をクリック
-
管理者メニュー->ランタイム環境から、該当のSecureAgent名のリンクをクリックし、サービスの詳細・稼働状況にて該当のSecureAgentでサービスが起動完了し「稼働中」となる事を確認してください。
事前準備2 : ユーザ権限/ロールの確認・付与
該当ユーザに対し、CDIRタスクを作成したり実行するための権限を付与します。
必要な権限はロール設定画面の ”Data Ingestion” サービスにすべて纏められています。
尚、デフォルトで用意されているロール”デザイナ”にはすべての権限が付与されていますので、こちらを利用するのも良いと思います。
例) ユーザにデザイナロールを割り当てる
これでCDIRを利用するための準備が整いました。
追記:
このあとにCDIR(MassIngestion)-APPでデータを取得する記事を記事を書きましたので是非参照ください。
[IDMC]IDMCのレプリケーション機能”CDIR”でMarketoのデータをリアルタイムで簡単レプリケーション(差分も)
まとめ
IDMCは単なるETLツールでは無く、上記のようなレプリケーション機能やAPIマネジメントなども実装できます。是非ご活用ください。簡単ですが以上です。
検索用
Informatica / IDMC / Intelligent Data Management Cloud / IICS / Data Integration / CDI / CMI / CDIR / Mass Ingestion / CDQ / CDP / Profiling / CDGC / CDMP / CLAIRE / AI / SecureAgent / ランタイム / マスインジェスチョン / マルケト / Marketo / Snowflake / Google Big Query / GCP / Azure