embulk-filter-join_fileを使ってみた。

便利だなと思ったプラグインの使い方をまとめたメモ第一弾
(gistに書いておくとどこかに行ってしまうのでQiitaに移動)

名前

• プラグイン名: embulk-filter-join_file
• 著者: Civitaspoさん
• プラグインの用途
  • ある値を元に他の値を結合したいという時に利用するフィルタプラグイン
  • 例えば都道府県コードから、都道府県名をくっつける

導入

embulk gem install embulk-filter-join_file 
2015-11-12 12:56:02.486 +0900: Embulk v0.7.9
Successfully installed embulk-filter-join_file-0.0.1
1 gem installed

元データ

ken_codeを参照して、都道府県名を付与します。

ken_code,name
01,hokkaido
13,tokyo
14,kanagawa
17,ishikawa
20,nagano

設定の流れ

• 変換データのjsonファイルを作る
• 設定を記述
• 実行

変換データのjsonファイルを作る

次のようなJSONファイルをつくる、ファイル名をmaster.jsonとします。
長いのですべてのデータは、本文書末尾を参照してください。

master.json

[
  {
    "code": "01",
    "name": "北海道"
  },
  {
    "code": "02",
    "name": "青森県"
  },
  {
    "code": "03",
    "name": "岩手県"
  },
  ...

設定を記述

conf.yml

  type: file
  path_prefix: /tmp/embulk/test
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: ken_code, type: string} # キーカラム
    - {name: name, type: string}
#
# ここからがfilterの設定
#
filters:
  - type: join_file
    # 元データにあるカラムの名前、parser内のカラム名と対応づけする
    base_column:    { name: ken_code, type: string }
    # jsonファイル内にあるカラムの名前
    counter_column: { name: code, type: string }
    # 変換ファイル
    file_path: /tmp/master.json
    # フォーマット
    file_format: json
    # マスターファイルの中で出力したいカラムを指定
    columns:
#      - { name: code, type: string }
      - { name: name, type: string }

out: {type: stdout}

実行

embulk preview -G conf.yml 
2015-10-15 20:02:49.354 +0900: Embulk v0.7.5
*************************** 1 ***************************
              ken_code (string) : 01
                  name (string) : hokkaido
_joined_by_embulk_name (string) : 北海道
*************************** 2 ***************************
              ken_code (string) : 13
                  name (string) : tokyo
_joined_by_embulk_name (string) : 東京都
*************************** 3 ***************************
              ken_code (string) : 14
                  name (string) : kanagawa
_joined_by_embulk_name (string) : 神奈川県
*************************** 4 ***************************
              ken_code (string) : 17
                  name (string) : ishikawa
_joined_by_embulk_name (string) : 石川県
*************************** 5 ***************************
              ken_code (string) : 20
                  name (string) : nagano
_joined_by_embulk_name (string) : 長野県

都道府県変換JSONファイル

[
  {
    "code": "01",
    "name": "北海道"
  },
  {
    "code": "02",
    "name": "青森県"
  },
  {
    "code": "03",
    "name": "岩手県"
  },
  {
    "code": "04",
    "name": "宮城県"
  },
  {
    "code": "05",
    "name": "秋田県"
  },
  {
    "code": "06",
    "name": "山形県"
  },
  {
    "code": "07",
    "name": "福島県"
  },
  {
    "code": "08",
    "name": "茨城県"
  },
  {
    "code": "09",
    "name": "栃木県"
  },
  {
    "code": "10",
    "name": "群馬県"
  },
  {
    "code": "11",
    "name": "埼玉県"
  },
  {
    "code": "12",
    "name": "千葉県"
  },
  {
    "code": "13",
    "name": "東京都"
  },
  {
    "code": "14",
    "name": "神奈川県"
  },
  {
    "code": "15",
    "name": "新潟県"
  },
  {
    "code": "16",
    "name": "富山県"
  },
  {
    "code": "17",
    "name": "石川県"
  },
  {
    "code": "18",
    "name": "福井県"
  },
  {
    "code": "19",
    "name": "山梨県"
  },
  {
    "code": "20",
    "name": "長野県"
  },
  {
    "code": "21",
    "name": "岐阜県"
  },
  {
    "code": "22",
    "name": "静岡県"
  },
  {
    "code": "23",
    "name": "愛知県"
  },
  {
    "code": "24",
    "name": "三重県"
  },
  {
    "code": "25",
    "name": "滋賀県"
  },
  {
    "code": "26",
    "name": "京都府"
  },
  {
    "code": "27",
    "name": "大阪府"
  },
  {
    "code": "28",
    "name": "兵庫県"
  },
  {
    "code": "29",
    "name": "奈良県"
  },
  {
    "code": "30",
    "name": "和歌山県"
  },
  {
    "code": "31",
    "name": "鳥取県"
  },
  {
    "code": "32",
    "name": "島根県"
  },
  {
    "code": "33",
    "name": "岡山県"
  },
  {
    "code": "34",
    "name": "広島県"
  },
  {
    "code": "35",
    "name": "山口県"
  },
  {
    "code": "36",
    "name": "徳島県"
  },
  {
    "code": "37",
    "name": "香川県"
  },
  {
    "code": "38",
    "name": "愛媛県"
  },
  {
    "code": "39",
    "name": "高知県"
  },
  {
    "code": "40",
    "name": "福岡県"
  },
  {
    "code": "41",
    "name": "佐賀県"
  },
  {
    "code": "42",
    "name": "長崎県"
  },
  {
    "code": "43",
    "name": "熊本県"
  },
  {
    "code": "44",
    "name": "大分県"
  },
  {
    "code": "45",
    "name": "宮崎県"
  },
  {
    "code": "46",
    "name": "鹿児島県"
  },
  {
    "code": "47",
    "name": "沖縄県"
  }
]