初めに
Informaticaはデータマネジメントクラウドを提供しています。その中で、重要な要素の1つとして、データ連携(Cloud Data Integration、略してCDI)があらゆるデータにアクセスし、連携することが可能です。
本日ご紹介したのはBOXコネクタを使ってファイル連携する方法です。
シナリオ
BOXコネクタは下記のファイル操作が可能です。
・ファイルをアップロード
・ファイルをダウンロード
・ファイルを削除
BOXコネクタでファイル連携したい場合、CDIでそのままファイルデータの中身を読めるのはCSVファイルのみです。他のファイルを連携したい場合、先ずファイルをダウンロードして、その後ファイルコネクタでダウンロードされたファイルを転送します。2段階処理となりますが、ファイルリスナーを活用して、ファイルのダウンロードフォルダーを監視することで、ファイルの自動転送を実現できます。
ファイルをダウンロード
事前準備:
・BOX接続を作成します。ファイルのダウンロード元のBOXに繋ぐ必要があります。ファイルのダウンロード場所を指定する場合、Target File PathにSecureAgentサーバのディレクトリを設定してください。
・CSVファイルを新規作成します。その中にBOXのファイルIDやフォルダーIDを指定します。ファイルIDを指定する場合、特定のファイルをダウンロードすることになって、フォルダーIDを指定する場合、全フォルダーをダウンロードすることになります。
・フラットファイルの接続を作成し、先作成したCSVファイルを接続先のフォルダーに入れておきます。
マッピングを作る
BOXのファイルをダウンロードするため、マッピングを作成します。
ソースの設定に、事前に作成したcsvファイルを繋ぎます。
ターゲットの設定に、事前作成したBOX接続を選んで、Objectの設定は3種類があり、Upload/Download/Delete、今回はDownloadを選択します。そのご、成功ファイルとエラーの保存パスをそれぞれ指定します。
上記の設定で、ソースから取得したファイルやフォルダーIDを持って、ターゲットにBOX API経由で該当ファイルやフォルダーをダウンロードする動作を実現できます。
後続アクション
ファイルのダウンロード場所に対して、ファイルリスナーを立てれば、ファイルの到着を自動検知でき、CDIジョブをトリガーしてファイルの自動転送を実現可能です。
ファイルリスナーの使い方はこちらのドキュメントをご参照ください。英語になりますが、今後日本語版の運用編を作りたいと思います。楽しみしましょう。
https://docs.informatica.com/integration-cloud/data-integration/current-version/components/file-listeners.html
まとめ
BOXコネクタでファイルをアップロード、ダウンロード、削除することができます。CDIは半構造化または構造化データしか処理できないですが、動画ファイル、画像ファイルなどの非構造化ファイルを連携したい場合、先ずSecureAgentサーバにダウンロードして、その後CDIR(Cloud Data Ingestion and Replication)サービスを使って転送します。CDIRもファイルリスナーをサポートしますので、便利でご利用いただけます。
BOX連携を早速やってみましょうか!