環境
- kubernetes 1.21
- loki 2.4
- agentはpromtail
状況
jobやcronjobの処理が一瞬で終了する場合、ログを保存できないことがある
調べたこと
- 処理時間が大体1秒以下くらいで保存できないことが多くなる
- promtailがpodをターゲットに追加できていない
- promtailのkubernetes target discoveryはprometheusのものを使っている
- kubernetes apiをwatchしていて、ポーリングではない
- podの作成から補足できてないのか、そこはできてるけどログのターゲットに追加できないのか、は不明
- kubectl get po -wで見る場合は、ログ保存できないようなpodでも作成は補足できている
ちょっとよくわからないですね…
対応
原因がちゃんとわかってないので、見える範囲でちゃんと保存できてるよ、という対応になります
Jobの場合
-
spec.ttlSecondsAfterFinishedを使ってpodの寿命を伸ばす- 10秒くらいにしとけば間違いないでしょう
cronJobの場合
- 現状の設定の
spec.successfulJobsHistoryLimitが1以上の場合- 特に対応しなくてもこの現象は起きてないはず
- 現状の設定の
spec.successfulJobsHistoryLimitが0の場合-
spec.successfulJobsHistoryLimitを1にする -
spec.jobTemplate.spec.ttlSecondsAfterFinishedを設定する- これも10秒くらいで
-
successfulJobsHistoryLimitの設定で残ったpodがずっと残らずに、10秒くらい残って消える動作になります
その他
preStopは使えない
preStopはapiserverからのpod削除命令でトリガーなので、自らのexitで終了するjobでは発火しません
サイドカー戦法
サイドカーコンテナ立ててsleep 10するのでも一応保存できました、よくわからないけど…
そもそも
1秒未満で終了するようなjobのログなんていらないかもしれないですけど
正常動作で出てるはずのログが保存されてないのは何かあった時にミスリードを誘います