Embulkのsftpプラグインでcsvをget

Embulkのプラグインをインストール

$ embulk gem install embulk-input-sftp
2016-12-27 11:10:04.254 +0900: Embulk v0.8.15
Fetching: embulk-input-sftp-0.2.3.gem (100%)
Successfully installed embulk-input-sftp-0.2.3
1 gem installed

Embulkの設定ファイルを書く(パスワード認証の場合)

parser:/filter:/out:はローカルCSV用に同じ(今回はCSVの内容をTreasureDataに入れた)
in:からparser:までの間を以下のように書く

in:
  type: sftp
  host: ■sftpサーバ■
  port: 22
  user: ■ユーザ■
  password: ■パスワード■
  path_prefix: ■ディレクトリ■
  path_match_pattern: ■ファイル名パターン■
  parser:

先方からppkファイルをもらった場合

Windows上でOpenSSH形式に変換

1. Windowsにputtyをインストール http://hp.vector.co.jp/authors/VA024651/PuTTYkj.html
2. puttygen.exeを起動
3. ActionsのLoad an exisiting private fileのLoadボタン押下
4. もらったppkファイルを指定
5. 画面上部のConversionsメニューのExport OpenSSH Keyを選択
6. 「Are you sure you want to save this key without a passphrase to protect it?」と聞かれたら「はい」を押下
7. 適当なファイル名を指定する
8. ファイルの中身をクリップボードにコピー

Embulkの設定ファイルを書く

パスワード認証用の内容から「password:」行を消して以下のようにする

in:
  type: sftp
  host: ■sftpサーバ■
  port: 22
  user: ■ユーザ■
  secret_key_file:
    content: |
      -----BEGIN RSA PRIVATE KEY-----
      ■puttygenからExportしたファイルの中身をクリップボードから貼付け■
      -----END RSA PRIVATE KEY-----
  path_prefix: ■ディレクトリ■
  path_match_pattern: ■ファイル名パターン■
  parser:

キーファイルを複数のEmbulk設定ファイルから共用したい場合はsecret_key_file:を以下のように書き換えて

  user: ■ユーザ■
  secret_key_file: ■キーファイル■
  path_prefix: ■ディレクトリ■

キーファイルの中身は以下の通り

-----BEGIN RSA PRIVATE KEY-----
■puttygenからExportしたファイルの中身をクリップボードから貼付け■
-----END RSA PRIVATE KEY-----