elasticsearchでjsonをimportする(高速)

jsonを作成する

requests.json

{ "index" : { "_index" : "test", "_type" : "type1", "_id" : "1" } }
{ "field1" : "value1" }
{ "index" : { "_index" : "test", "_type" : "type1", "_id" : "2" } }
{ "field1" : "value2" }

bulk importする

curl -s -XPOST localhost:9200/_bulk --data-binary @requests.json > /dev/null

標準出力からも可

curl -s -XPOST localhost:9200/_bulk --data-binary @<(head -n 2 requests.json) > /dev/null

gzip圧縮されたファイルでbulk importする

elasticsearch.ymlに追記

elasticsearch.yml

http.compression: true

インポート

curl --compressed -H "Content-encoding: gzip" -XPOST localhost:9200/_bulk --data-binary @requests.json.gz > /dev/null