実現したいこと
Blob Storage に対向システムからファイルを連携し、集めたファイルを日次で取り込む処理をDatafactoryを使ってつくりたい。
対向システムのファイル送信が遅れることもあり、リカバリすることを考えて、ファイルがある分だけ取り込み対象とし、取り込んだらbkフォルダに移動する。
今回の業務上、少なくとも毎日1ファイルは存在するため、取り込むファイルが無い場合はエラーとすることとした。
全体像
下図の流れでデータ取り込みをすることとした。
- 処理したいディレクトリ配下のファイルを取得
今回の例だとグレー背景部分 - 処理したいファイルだけに絞る
今回の場合、「file1」が含まれているファイル - 処理するファイルがあれば後続処理
処理するファイルが存在しない場合は、エラーとして扱う - データ登録、ファイル移動・削除
a. Blob storage のファイルを SQL DB に登録
b. 処理したファイルをBKディレクトリにコピー移動
c. 処理したファイルを削除
各アクティビティの設定値
上図の各アクティビティの設定値の中身は以下の通り。
アクティビティ 1
ディレクトリ内のファイルのリストを取得する。
アクティビティ 2
アクティビティ 1 で取得したリストの中から、取り込み対象ファイルのみとする。誤ったファイルを取り込まないために、取り込み対象のファイル名に絞る処理を入れている。
アクティビティ 3
取り込み対象ファイルが存在するかチェックする。
今回の処理では少なくとも１件はファイルが存在するため、１件以上あるかチェックし、0件の場合はエラーとしている。
アクティビティ 4-a
blob storage から SQL Database にデータ投入する。
取り込むファイル名は変数とし、アクティビティ 2 で取得したファイル名を使っている。
アクティビティ 4-b
取り込んだファイルをbkフォルダに移動する。
アクティビティ 4-c
bkフォルダに移動したファイルを削除する。
