Cloud Mass Ingestion
Cloud Mass Ingestion (CMI)は、ファイル・データベース・ストリーミング・アプリケーションなどのデータをクラウドへ簡単に高速で一括で取り込むことができます。
例えば、オンプレミスのデータベースからクラウドデータウェアハウスへの移行や大量のファイルをクラウド・ストレージに一括で取り込むケースで活用できます。
今回は、アプリケーションからクラウドへデータを取り込むCMI Applicationsを紹介します。
Cloud Mass Ingestion Applications
CMI ApplicationsはSaaSやオンプレミスのアプリケーションから大規模データを取り込み、クラウドベースのデータレイクやデータウェアハウスへ低レイテンシーでデータを転送することができます。
サポート対象のソースの詳細については、下記ドキュメントをご参照ください。
https://docs.informatica.com/integration-cloud/cloud-mass-ingestion/current-version/mass-ingestion/mass-ingestion-applications/supported-sources.html
サポート対象のソースとターゲット (2021年11月)
実際に使ってみる
本記事ではSalesforceからRedshiftへ転送してみます。
######0.新規作成
CMIのホーム画面の[新規]から[アプリケーション取り込みタスク]を選択し、新規作成します。
######1.定義
[名前]を入力し、[ランタイム環境]から使用するSecure Agentを選択し、[ロードタイプ]を選択します。
######2.ソース
[接続]でSalesforceへの接続を選択し、[Objcet Rules]の条件にここでは、opportunity*と指定して抽出対象のオブジェクトを設定しています。
######3.ターゲット
[接続]でRedshiftへの接続を選択し、連携先の対象となる[スキーマ]、データオブジェクトを保存する[バケット]、ジョブの出力ファイルを保存する[ディレクトリ]を指定します。
######4.スケジュールおよびランタイムオプション
デフォルトの設定のまま[保存]します。
######5.デプロイ
保存した後、設定した内容で[デプロイ]します。
#まとめ
CMI Applicationsを使用してSaaSやオンプレミスのアプリケーション・データをデータレイクやデータウェアハウスへ統合することで、取得した最新データを高度なデータ分析に活用できたり、他のアプリケーションへ提供して処理を実行することができます。