Elasticsearchがデータを取り込んでくれなくなったとき

elasticsearchがデータを取り込んでくれなくなった

fluentdのelasticプラグインがエラーを吐いていた
詳細を見るにはfluentd側に以下を追加する必要があった

log_es_400_reason true

こんなエラーが出てた

Validation Failed: 1: this action would add [2] shards, but this cluster currently has [1000]/[1000] maximum normal shards open

どうやらelasticsearchのshardsがいっぱいになってたらしい
↓を参考にshardsの容量を変更

1000→10000にした

curl -X PUT -u user:password localhost:9200/_cluster/settings -H "Content-Type: application/json" -d '{ "persistent": { "cluster.max_shards_per_node": "10000" } }'