1.概要
jqコマンドでCSVをJSONに変換してElasticSearchに登録した際の手順メモです。
2.環境
| ElasticSearch | Linux |
|---|---|
| 6.5.3 | Amazon Linux 2 |
3.手順
3.1.使用するCSV
$ cat test.csv
id,name,age,address
01,taro,12,tokyo
02,hanako,13,kyoto
03,ichiro,16,osaka
3.2.Mappingファイル作成
上記のCSVに対応したMaapingファイルを作成します。
$ cat mapping.jq
split("\n")|map(split(","))|
map({"id":.[0],
"name":.[1],
"age":.[2],
"address":.[3],
})
3.3.CSVをJSONに変換
結論から言うと以下のコマンドになります。
3.3.x.でコマンドの詳細を説明します。
$ jq -R -s -f mapping.jq test.csv |jq 'del(.[][] | nulls)'\
|head -n -2 | sed -e 1d -e 's/},/}/g' | jq . -c|\
sed "s/^/{ \"index\" :{} }\n/g" > test.json
3.3.1.jqコマンドを使用してCSVをJSONに変換
jq -R -s -f <mappingファイル> <CSVファイル>
--raw-input / -R
入力値は、JSONとしてパースしないでください。
その代わりに、(このオプションを用いる事で)テキストの各行は
文字列としてフィルタに渡されます。
もし --slurpオプションと組み合わせた場合
入力全体が単一の長い文字列として フィルタに渡されます。
--slurp/ -s
入力内の各JSONオブジェクトに対してフィルターを実行する代わりに、
入力ストリーム全体を大きな配列に読み取り、フィルターを1回だけ実行します。
-f filename/ --from-file filename：
awkの-fオプションのように、コマンドラインからではなくファイルからフィルターを読み取ります。
「＃」を使用してコメントを作成することもできます。
--compact-output/ -c：
デフォルトでは、jqはJSON出力をプリティプリントします。
このオプションを使用すると、各JSONオブジェクトが1行に配置されるため
出力がよりコンパクトになります。
$ jq -R -s -f mapping.jq test.csv
[
{
"id": "id",
"name": "name",
"age": "age",
"address": "address"
},
{
"id": "01",
"name": "taro",
"age": "12",
"address": "tokyo"
},
{
"id": "02",
"name": "hanako",
"age": "13",
"address": "kyoto"
},
{
"id": "03",
"name": "ichiro",
"age": "16",
"address": "osaka"
},
{
"id": null,
"name": null,
"age": null,
"address": null
}
]
3.3.2.なぜかnullが入ってしまうので削除
$ jq -R -s -f mapping.jq test.csv |jq 'del(.[][] | nulls)'
[
{
"id": "id",
"name": "name",
"age": "age",
"address": "address"
},
{
"id": "01",
"name": "taro",
"age": "12",
"address": "tokyo"
},
{
"id": "02",
"name": "hanako",
"age": "13",
"address": "kyoto"
},
{
"id": "03",
"name": "ichiro",
"age": "16",
"address": "osaka"
},
{}
]
3.3.3.余計な部分を削除
$ jq -R -s -f mapping.jq test.csv |jq 'del(.[][] | nulls)'\
|head -n -2 | sed -e 1d -e 's/},/}/g' | jq . -c
{"id":"id","name":"name","age":"age","address":"address"}
{"id":"01","name":"taro","age":"12","address":"tokyo"}
{"id":"02","name":"hanako","age":"13","address":"kyoto"}
{"id":"03","name":"ichiro","age":"16","address":"osaka"}
3.3.4.ElasticSearchでBulkできるようにIndexを付与
$ jq -R -s -f mapping.jq test.csv |jq 'del(.[][] | nulls)'\
|head -n -2 | sed -e 1d -e 's/},/}/g' | jq . -c|\
sed "s/^/{ \"index\" :{} }\n/g"
{ "index" :{} }
{"id":"id","name":"name","age":"age","address":"address"}
{ "index" :{} }
{"id":"01","name":"taro","age":"12","address":"tokyo"}
{ "index" :{} }
{"id":"02","name":"hanako","age":"13","address":"kyoto"}
{ "index" :{} }
{"id":"03","name":"ichiro","age":"16","address":"osaka"}
3.3.5.上記の結果をファイルに保存
$ jq -R -s -f mapping.jq test.csv |jq 'del(.[][] | nulls)'\
|head -n -2 | sed -e 1d -e 's/},/}/g' |\ jq . -c|\
sed "s/^/{ \"index\" :{} }\n/g" > test.json
$ cat test.json
{ "index" :{} }
{"id":"id","name":"name","age":"age","address":"address"}
{ "index" :{} }
{"id":"01","name":"taro","age":"12","address":"tokyo"}
{ "index" :{} }
{"id":"02","name":"hanako","age":"13","address":"kyoto"}
{ "index" :{} }
{"id":"03","name":"ichiro","age":"16","address":"osaka"}
3.4. ElasticSearchへのBulkInsert
curl -H "Content-Type: application/json" "<ホスト名>/<Index名>/<Type名>/_bulk?pretty" --data-binary @<ファイル名>
$ curl -H "Content-Type: application/json" "localhost:9200/index/type/_bulk?pretty" --data-binary @test.json
{
"took" : 1583,
"errors" : false,
"items" : [
{
"index" : {
"_index" : "index",
"_type" : "type",
"_id" : "XWxcf3ABW0y3WGzTST46",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1,
"status" : 201
}
},
{
"index" : {
"_index" : "index",
"_type" : "type",
"_id" : "Xmxcf3ABW0y3WGzTST46",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1,
"status" : 201
}
},
{
"index" : {
"_index" : "index",
"_type" : "type",
"_id" : "X2xcf3ABW0y3WGzTST46",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1,
"status" : 201
}
},
{
"index" : {
"_index" : "index",
"_type" : "type",
"_id" : "YGxcf3ABW0y3WGzTST46",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 1,
"_primary_term" : 1,
"status" : 201
}
}
]
}
3.4.1.結果確認
$ curl -H "Content-Type: application/json" -XGET 'localhost:9200/index/type/_search?pretty'
{
"took" : 5,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 4,
"max_score" : 1.0,
"hits" : [
{
"_index" : "index",
"_type" : "type",
"_id" : "X2xcf3ABW0y3WGzTST46",
"_score" : 1.0,
"_source" : {
"id" : "02",
"name" : "hanako",
"age" : "13",
"address" : "kyoto"
}
},
{
"_index" : "index",
"_type" : "type",
"_id" : "YGxcf3ABW0y3WGzTST46",
"_score" : 1.0,
"_source" : {
"id" : "03",
"name" : "ichiro",
"age" : "16",
"address" : "osaka"
}
},
{
"_index" : "index",
"_type" : "type",
"_id" : "XWxcf3ABW0y3WGzTST46",
"_score" : 1.0,
"_source" : {
"id" : "id",
"name" : "name",
"age" : "age",
"address" : "address"
}
},
{
"_index" : "index",
"_type" : "type",
"_id" : "Xmxcf3ABW0y3WGzTST46",
"_score" : 1.0,
"_source" : {
"id" : "01",
"name" : "taro",
"age" : "12",
"address" : "tokyo"
}
}
]
}
}
以上