目次
1.はじめに
2.SFTPのサーバとクライアント
3.HULFT SquareとDataSpiderが取れる構成
4.おわりに
はじめに
HULFT Squareでファイル連携するなら、HULFTかSFTPかFTPかストレージ(Box・S3・BigQuery・BLOBストレージ)かREST APIの5択です。
その中でも頻度が高いSFTP連携について、まとめました。
また、DataSpiderとHULFT Squareを連携させる要件が多いため、HULFT SquareだけでなくDataSpiderの設定方法もまとめています。
SFTPのサーバとクライアント
SFTPとは何か。
とても今更な話をしましょう。
ファイルを転送するための仕組み。
サーバー機能とクライアント機能が対となり、それぞれ必要。
これだけ理解できれば大丈夫です。
より詳しく知りたい方は下記のサイトが図化されており分かりやすかったです。
HULFT SquareとDataSpiderが取れる構成
つまり、SFTP通信でファイルを連携するためにはSFTPサーバーとSFTPクライアントが必要になります。
HULFT SquareはSFTPサーバー機能とSFTPクライアント機能どちらも持っており、二通りの構成を選択できます。
インターネット経由
SFTP連携時はインターネット経由とAWS PrivateLink経由と経路を選べます。
インターネット経由の時の構成は下記です。

パターン①
下記のパターン①の構成をとる際、HULFT SquareをSFTPサーバーとして、DataSpider ServistaをSFTPクライアントとして利用します。
それぞれの設定を下記にまとめました。
①【HULFT Square】 SFTPサーバー構築してみた
②【DataSpider】 SFTPクライアント設定してみた

パターン②
下記のパターン②の構成をとる際、HULFT SquareをSFTPクライアントとして、DataSpider ServistaをSFTPサーバーとして利用します。
それぞれの設定を下記にまとめました。
③【HULFT Square】 SFTPクライアント設定してみた ※執筆予定
④【DataSpider】 SFTPサーバー構築してみた ※執筆予定

AWS PrivateLink経由
AWS PrivateLink経由の時の構成は下記です。
PrivateLinkはVPC間を閉域で繋ぐサービスのため、お客様にAWS VPC環境をご用意いただく必要があります。
VPCを挟む為、SFTPクライアントの設定はインターネット経由の時とは異なります。

おわりに
SFTP連携シリーズを書いている際に「サーバ」「サーバー」伸ばす伸ばさない問題に直面しました。
HULFT SquareだとSFTPサーバー機能は製品名称SFTP Serviceなので混乱しないのですが、DataSpiderだとSFTPサーバー機能は製品名称 SFTPサーバ(伸ばさない) です。
ちなみに、HULFT SquareだとSFTPクライアント機能は製品名称 FTPコネクター(伸ばす) なのですが、DataSpiderだとSFTPクライアント機能は製品名称 FTPアダプタ(伸ばさない) です。
名称ややこしいので、記事内間違っていても優しく見守っていただけると嬉しいです。