FetchSFTP vs GetSFTP

Question ： FetchSFTP vs GetSFTP

NiFiの中、FTP/SFTPを処理するには、FetchSFTP と GetSFTP療法ある。

FetchSFTP vs GetSFTPで、どれが良いですか？

Reference

Answer

FetchFTPはクラスタリングしたNiFiに相応しい。

FetchSFTP is cluster friendly where as GetSFTP is not, meaning you can have multiple nodes in a cluster pulling data from the same source, but with GetSFTP, you cannot.

If you have a NiFi cluster and you are using the GetSFTP processor, you would have to configure that processor to run on the primary node only so the other nodes in the cluster wouldn't try to pull the same files. This will result in the files only being pulled by a single node in a cluster instead of being pulled by all nodes, which is what FetchSFTP would do.

So, using ListSFTP retains state and will only add new files to the list when it is run, so the FetchSFTP will only pull each file once, where with GetSFTP, you would pull the same files over and over again.

一つNiFiクラスタの中、同時に複数NiFi NodeでFTPからデータ取得したい場合はGetFTP/GetSFTPを使うべき。

ListSFTP/ListFTPは状態ほ保存し、新しいファイルのみ取得してくる。
代わりにGetFTPなら同じファイルを何回も取得してくる。（そのため、GetFTP実行後、ファイルをリモートFTPサーバーから自動的削除している）