KibanaでIndex Patternsが作成できなくなった時の対処法

症状 / 原因

AWS上でfluentd - elasticsearch - kibanaでログの可視化環境を構築していました。kibanaもelasticsearchもバージョン6.0.0です。

上図のindex patterns作成ページのcreateボタンを押しても、画面が切り替わらず、どうやら画面の見切れた先にうっすらエラーの内容が表示されているような挙動をしていました。( chromeブラウザーでした ）
そこでchromeのジャバスクリプトのエラーログを確認してみると、

Error 403 Forbidden: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];

というエラーが出ていました。
これはどうやらkibanaのエラーというよりelasticsearch側のエラーの用で、サーバーが容量不足になるとelasticsearch側が　indexをread-onlyに制限してしまうようです。実際にelasticsearchがゴリゴリ容量をいっぱいにしていました。

そこで、サーバーの容量不足を解消してから、

elasticsearch側で、

curl -XPUT -H "Content-Type: application/json" localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

を実行してから再度createボタンをkibana上で押して見ると、indexが作成できました。
これにてお粗末！！