はじめに
どうも！生産技術部で製品の検査工程を担当しているエンジニアです。脱Excel Elastic Stack（docker-compose）でcsvログを分析・可視化 - Elastic Stackとはの続きになります。
対象読者
この記事では、Elastic Stackをそもそも知らない方、これから試そうと思っている方を対象としています。
この記事の内容
大量のファイルをfilebeatからlogstashに転送すると、以下のエラーが出てlogstashが落ちることがあります。その対応方法を紹介します。
java.lang.OutOfMemoryError: Java heap space
Dumping heap to java_pid1.hprof ...
Heap dump file created [3178685347 bytes in 34.188 secs]
warning: thread "[main]>worker11" terminated with exception (report_on_exception is true):
warning: thread "[main]>worker4" terminated with exception (report_on_exception is true):
java.lang.OutOfMemoryError: Java heap space
GitLabに設定ファイル一式を置いておきましたので参考にしてください。
リポジトリはこちら -> elastic-stack
エラーの原因
エラー内容が示す通り、ヒープサイズが足りないことが原因です。
物理メモリのサイズに余裕がある場合の対応方法
jvm.optionsファイルを作成し、以下のヒープサイズを変更します。
どれくらいに設定すればいいのかは、JVM Settingの説明に従い、使用するマシンと相談してください。
logstash/config/jvm.options
## JVM configuration
# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms1g
-Xmx1g
物理メモリのサイズに余裕がない場合の対応方法
pipeline.batch.sizeもしくはpipeline.workersを変更することで、処理量に制限をかけることが出来ます。
batchサイズのデフォルト値は125、workersはホストPCのCPUの数となっています。
公式のドキュメントはこちらです。
logstash/config/pipelines.yml
- pipeline.id: filebeat-processing
pipeline.batch.size: 50
最後に
Elasticsearchに関してですが、公式のブログによると、7.7からElasticsearchのヒープ領域使用量が大幅にダウンするそうです。Elasticsearchのメモリでお困りの方はバージョンを見直してみてください。