embulkでTreasureDataにデータをアップロードする

OpenJDK8をインストール

コマンド実行でembulkのインストール

windows

PowerShell -Command "& {[Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::TLS12; Invoke-WebRequest http://dl.embulk.org/embulk-latest.jar -OutFile embulk.bat}"

pluginsからインストール

• embulk-input-td
• embulk-output-td

embulk gem install embulk-input-td

環境変数にpath設定

ymlファイル

in:
  type: file
  path_prefix: XXXXX.tsv
  parser:
    charset: UTF-8
    newline: CRLF

out:
  type: td
  apikey: api_key
  endpoint: api.treasuredata.com
  database: db
  table: tab
  auto_create_table: true
  mode: append

実行

embulk run filename.yml