12rep - EmbulkでファイルをGCSへアップロード

GCSへファイルをアップロード

• gsutilコマンド叩いてアップしてもいいのですがEmbulk使ってアップしてみる
• 元記事: embulk-parser-none および embulk-filter-stdout プラグインのご紹介
  

使うEmbulkプラグイン

• URL:embulk-parser-none
• 何も parse せず、payload カラム(デフォルト)として保存するだけの便利プラグイン

ローカルファイルからGCSサンプル

in:
  type: file
  path_prefix: ./{ファイル名}.tar.gz
  parser:
    type: none
    column_name: payload
out:
  type: gcs
  bucket: {GCSバケット名}
  path_prefix: ./{ファイル名}.tar.gzip
  file_ext: .gzip
  sequence_format: ""
  auth_method: json_key
  json_keyfile: {サービスアカウントで発行したJson Key}.json
  formatter:
    type: csv
    delimiter: 0
    quote_policy: NONE
    header_line: false
  encoders:
    - {type: gzip}