Gitlab12 504エラー対応メモ（Prometheusのwalファイル圧迫）

概要

• GitLabが接続できないとの報告を受ける
• 504エラー
• ざっと見たところファイルシステムフル状態
• /var/opt/gitlab/prometheus/以下がかなり割合を占めている

詳細

• 状態

# du -sh /var/opt/gitlab/prometheus/*
15G /var/opt/gitlab/prometheus/data
247M    /var/opt/gitlab/prometheus/data_tmp
8.0K    /var/opt/gitlab/prometheus/prometheus.yml
24K /var/opt/gitlab/prometheus/rules

# du -sh /var/opt/gitlab/prometheus/data/*
0   /var/opt/gitlab/prometheus/data/lock
20K /var/opt/gitlab/prometheus/data/queries.active
15G /var/opt/gitlab/prometheus/data/wal

# du -sh /var/opt/gitlab/prometheus/data/wal/*
52M /var/opt/gitlab/prometheus/data/wal/00001340
52M /var/opt/gitlab/prometheus/data/wal/00001341
52M /var/opt/gitlab/prometheus/data/wal/00001342
52M /var/opt/gitlab/prometheus/data/wal/00001343
52M /var/opt/gitlab/prometheus/data/wal/00001344
52M /var/opt/gitlab/prometheus/data/wal/00001345
:
:
53M /var/opt/gitlab/prometheus/data/wal/00001621
128M    /var/opt/gitlab/prometheus/data/wal/00001622
129M    /var/opt/gitlab/prometheus/data/wal/00001623
128M    /var/opt/gitlab/prometheus/data/wal/00001624
128M    /var/opt/gitlab/prometheus/data/wal/00001625
66M /var/opt/gitlab/prometheus/data/wal/00001626

対応

• 当該ファイルを削除し念のためシステム再起動
• 参考イシュー

$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000013*
$ sudo rm -f /var/opt/gitlab/prometheus/data/wal/000014*

$ sudo reboot

結論

• walファイルを削除して暫定対応
• 削除して問題ないかは調査しきれていない、復旧・開発再開を最優先
• walファイルを削除してもその後の動作には今の所影響なさそう
• walファイルはシステムクラッシュ時の復旧に使用するファイルらしいのでバックアップさせしっかりとれていれば問題なさそう
• 自動的にバックアップは取っている環境なのでwal削除を決定
• チェックポイントで自動削除されるらしいが。。
• 設定で自動削除を制御するなど根本対応できないか調査中