0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Simple Data Integrator 応用編:ローカル・FTP・SFTP・クラウド間のファイル転送自動化

Posted at

はじめに

システム間の連携や定期的なバッチ処理では、ファイル転送が必要となるケースが多くあります。
「Simple Data Integrator(SDI)」は、GUIベースでデータ連携ジョブを作成・実行できる軽量ETLツールであり、ローカルディスク、FTP/SFTPサーバー、クラウドストレージ間のファイル転送をノーコードで実現できます。

本記事では、SDIを用いてローカル・FTP・SFTP・クラウド間のファイル転送を自動化する構成例とその設定方法について解説します。

構成

Simple Data Integrator(SDI)を使用すると、ローカル、FTP、SFTP、クラウドストレージ間の任意の2拠点間でファイル転送が可能です。
ソースをFTP、ターゲットをAWS S3とし、CSVファイルを転送する例で設定してみます。

image.png

要件

test*.csv を FTP から AWS S3 へ転送

設定

1. ソースコネクション設定(FTP)

1.1 「新規コネクション」ボタンをクリックして設定画面を開く

image.png

1.2 FTP接続情報を設定

image.png

No 項目 説明
1 コネクション名 任意の名前を入力(例:CSV_FTP)。重複チェックはありませんが、ユニークな名前を推奨します。
2 ロケーション ファイル を選択
3 データタイプ CSV を選択
※ ファイルをそのまま転送する場合、ソースとターゲットのデータタイプは同じ必要があります。
4 Storage Type FTP/FTPS を選択
5 ファイル保存先の情報 FTP接続に必要な情報を入力してください。
参考: https://ja.sdi.ricct.com/userguide/connectioncsvexcel/#ftpftps
6 接続テスト [接続テスト] ボタンで接続確認。成功すると下記メッセージが表示されます。
image.png

2. ターゲットコネクション設定(AWS S3)

2.1 「新規コネクション」ボタンをクリックして設定画面を開く

image.png

2.2 AWS S3接続情報を設定

image.png

No 項目 説明
1 コネクション名 任意の名前を入力(例:AWS_CSV)。管理上ユニークな名前を推奨。
2 ロケーション ファイル を選択
3 データタイプ CSV を選択
4 Storage Type AWS S3 を選択
5 ファイル保存先の情報 S3 接続に必要な情報を入力してください。
参考: https://ja.sdi.ricct.com/userguide/connectioncsvexcel/#aws-s3
6 接続テスト [接続テスト] ボタンで接続確認。成功すると下記メッセージが表示されます。
image.png

3. マッピング設定

3.1 「新規マッピング」ボタンをクリック

image.png

3.2 ファイル転送マッピングの設定

image.png

No 項目 説明
1 マッピング名 任意の名前を入力(ユニーク推奨)
2 ソースコネクション CSV_FTP を選択
3 ターゲットコネクション AWS_CSV を選択
4 ソースファイルをそのまま転送 チェックを入れる
5 ターゲット CSV ファイル名 「ソースファイル名を使用」にチェックを入れる

3.3 対象ファイル詳細設定

「対象ファイル詳細」ボタンをクリックし設定画面を開く
image.png

No 項目 説明
1 データ読込対象 ファイル名パターン を選択
2 ファイル名パターン ワイルドカード を選択
3 ファイルマスク test*.csv を入力

「OK」ボタンで画面を閉じる

4. 動作確認

4.1 FTPサーバーにファイルを配置

例:test1.csv, test2.csv

4.2 マッピングを実行

「マッピング実行」ボタンをクリック

実行履歴の確認

image.png

test1.csv, test2.csv が正常に転送されていることを確認

AWS S3 上でのアップロード確認

image.png

5. 保存

「保存」ボタンをクリックしてマッピング設定を保存

定期的にデータ連携したい場合は、スケジューラーを作成してマッピングを登録してください。
設定方法の詳細は以下をご参照ください:
https://ja.sdi.ricct.com/userguide/schedule/


以上です。

Simple Data Integrator (SDI) 実践入門

参考資料

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?