awsのelasticsearch serviceをサービスのログ可視化に使う為にテスト運用を行っていた時に起こった事件をtipsとしてまとめました。

ある日kibanaを見たらログが全然入ってなかった

5分置きにs3に上がるelbログをlambdaでelasticsearchに流しているのに、last 15 minutesのログが表示されなかった。
Todayで見ると、なぜか日本時間AM9時からログが入ってなかった（AM10時実行時）。

lambdaの実行ログを見るとエラーが

403エラー？えっ認証エラー・・？

{
   "error": "ClusterBlockException[blocked by: [FORBIDDEN/8/index write (api)];]",
   "status": 403
}

英語が出来なくてごめんなさい。

getでは今まで通りレスポンスが返ってくる。
サーバーはちゃんと動いているみたい。

awsコンソールのelasticsearchの該当ドメイン、またはcloudwatchの該当ドメインから見ることが出来ます。
この値が0になっていないですか？
0になっていたら（エラーメッセージは不自然ですが）getができてpostが出来ないのは理由がつきました。

用件によってアプローチ方法は異なりますね。とりあえず列挙します。

インスタンスタイプを上げる方法と、EBSを追加する方法があります。これは排他ではないので、両方行う事が出来ます。

elasticsearchにはデータの保存期間を設定することができます。
データの利用用途から、一週間で破棄するとか、一日で破棄するとか適切に設定出来ると良いですね。

cloudwatchで簡単に仕込めるはずです。
対応できる時間を考慮してアラートのしきい値を決めましょう。

私の場合はEBSを追加して、なおかつTTLを一週間に設定しました。
無事に・・・

{
  "_index":"logs",
  "_type":"elb",
  "_id":"xxxxxxxx",
  "_version":1,
  "created":true
}

再度、ログがインポートされるようになりました！やったね！