Why not login to Qiita and try out its useful features?

We'll deliver articles that match you.

You can read useful information later.

28
6

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

インフォマティカ・ジャパン株式会社Advent Calendar 2024

Day 1

[IDMC]これからはじめる”CDIR-Cloud Data Ingestion and Replication(旧名 Mass Ingestion)”

Last updated at Posted at 2024-11-30

はじめに

Informatica Intelligent Data Management Cloud(IDMC/旧称IICS)でのちょっとしたTipsを纏めていきます。日々の活動の中で検証した結果記録であり、忘れやすい自分のためのメモですが、少しでも皆様のお役に立てればと思い公開していきます。記述方法など試行錯誤しており随時更新するかもしれません。

”CDIR - Cloud Data Ingestion and Replication(旧名 Mass Ingestion)"とは

SAPやSalesforceのデータ、またOracleやSQL Server等に蓄積されたデータを活用する為にDatalakeやDWHへコピーしたいという場合に、Informaticaでは特別使いやすい機能をご用意しています。それが”CDIR - Cloud Data Ingestion and Replication(旧名 Mass Ingestion)"です。昨今の大量なデータを素早く利活用するためには夜間バッチなどを待たずにリアルタイムでどんどん分析基盤に回していきたいですよね、と言う用途に答える物で、データソースにより以下の4種の機能を用意しています。

image.png

機能 略称 用途
アプリケーション取り込みおよびレプリケーションタスク CDIR APP SAPやSalesforce等アプリケーションデータのレプリケーション・取り込み。
データベース取り込みおよびレプリケーションタスク CDIR DB OracleやSQLServer等のRDBMS系データのレプリケーション・取り込み
ファイル取り込みおよびレプリケーションタスク CDIR File CSVやJson/Parquet等のファイルデータのレプリケーション・取り込み
ストリーミング取り込みおよびレプリケーションタスク CDIR Streaming ストリーミングデータの継続取り込みレプリケーション

過去にCDIR(MassIngestion)に関する記事を書いてます。こちらも是非参照ください。
とっても便利なMass Ingestionの効果的な使い所
IDMC Cloud Mass Ingestion Database を使ってみた

事前準備1 : SecureAgentGroupにて必要なサービスを設定

CDIRは大量データを一気に処理できるサービスであるためSecureAgentに求められる必要最低要件が高めに設定されています。マニュアルをご確認ください。
マニュアル Data Ingestion and Replication

各CDIRを実行するためにはSecureAgentで該当のサービスが起動している必要があります。

  • 管理者メニュー->ランタイム環境にて、利用するSecureAgentグループのメニューから「サービス、コネクタの有効化または無効化」をクリック
    image.png

  • 利用するCDIRのサービスにチェックを入れ OKを押します
    image.png
    image.png

  • 管理者メニュー->ランタイム環境から、該当のSecureAgent名のリンクをクリックし、サービスの詳細・稼働状況にて該当のSecureAgentでサービスが起動完了し「稼働中」となる事を確認してください。
    image.png

事前準備2 : ユーザ権限/ロールの確認・付与

該当ユーザに対し、CDIRタスクを作成したり実行するための権限を付与します。
必要な権限はロール設定画面の ”Data Ingestion” サービスにすべて纏められています。
image.png

尚、デフォルトで用意されているロール”デザイナ”にはすべての権限が付与されていますので、こちらを利用するのも良いと思います。
image.png

例) ユーザにデザイナロールを割り当てる

  • 管理者->ユーザーの該当ユーザ名をクリック
    image.png
  • ”デザイナ”ロールを割り当てる
    image.png

これでCDIRを利用するための準備が整いました。

追記:
このあとにCDIR(MassIngestion)-APPでデータを取得する記事を記事を書きましたので是非参照ください。
[IDMC]IDMCのレプリケーション機能”CDIR”でMarketoのデータをリアルタイムで簡単レプリケーション(差分も)

まとめ

IDMCは単なるETLツールでは無く、上記のようなレプリケーション機能やAPIマネジメントなども実装できます。是非ご活用ください。簡単ですが以上です。

検索用

Informatica / IDMC / Intelligent Data Management Cloud / IICS / Data Integration / CDI / CMI / CDIR / Mass Ingestion / CDQ / CDP / Profiling / CDGC / CDMP / CLAIRE / AI / SecureAgent / ランタイム / マスインジェスチョン / マルケト / Marketo / Snowflake / Google Big Query / GCP / Azure

28
6
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up

Qiita Advent Calendar is held!

Qiita Advent Calendar is an article posting event where you post articles by filling a calendar 🎅

Some calendars come with gifts and some gifts are drawn from all calendars 👀

Please tie the article to your calendar and let's enjoy Christmas together!

28
6

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?