0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【2026/09/23】エンジニア136日目:10日間の運用監視まとめ・特定バッチ処理新規確認作業・Grafana移行準備

0
Posted at

はじめに

日付:2026年9月14日〜23日 / 10日間のシフトまとめ

シフト時間が変わり、引き継ぎ体制も整ってきた中で
新しい確認作業も加わった、変化の多い10日間を振り返る。

10日間のアラート対応まとめ

繰り返し発生したアラートのパターン

アラート種別 内容 優先度
認証情報関連エラー(rsAction) NullPointerExceptionが5分間に5件超で発生・再オープンを繰り返す P2〜P4
コンテナメモリ使用率上昇 使用率が高くなるパターンが定期的に発生・OOM-Killリスクあり P2〜P3
バッチサーバーLoad Average上昇 15分間の負荷が基準値(40.0)を超過 P3
K8s PodのBurn Rate急増 起動・終了エラーによりエラーバジェット消費率が急増 P3〜P4
Stuck Jobs(ジョブキューの詰まり) jobqueue_excelなどのジョブが1〜2時間経過しても未完了 P3
外部API通信エラー(TransAm) 外部連携モジュールによる通信失敗・同一アラートの再オープンが続く P3〜P4
Answer処理エラー smartAnswerAction/answerAction実行時にInvocationTargetException検知 P3
バッチシステムのシステムログエラー 5分間に6件のエラーが発生 P3

特記事項

特定Podのメモリ使用率パターン(9/14)
特定Podでメモリ使用率が周期的に上昇するパターンを確認した。
アラートは安定化して解消されたが、継続的な監視が必要な状態だ。

アラートのチューニング(rsAction NPE)
rsAction起因のNullPointerExceptionは
低頻度のノイズとして検知されるよう調整されていることを確認した。

新規確認作業:BAT329確認手順

9月18日より、担当者の指示で日次作業にBAT329の確認が追加された。

作業の流れ

① Datadogのログで「BAT329」をERROR/WARNで検索(過去2日分)
   ↓
② ERRORログの有無を確認
   → ERRORなし・WARNのみ → 正常(完了)
   → ERRORあり → 内容・RIDを確認して次へ
   ↓
③ パターン3a判定(調査票の終了日から経過日数を確認)
   → Quick:30日以上 / Scr:7日以上経過 → 正常(完了)
   → 非該当 → パターン3bへ
   ↓
④ パターン3b判定(以下2条件を両方満たすか確認)
   条件①:配布予定件数が0件からスタートしているか
   条件②:エラー発生前後1時間以内に再集計が実行されたか
   → 両方該当 → 正常(完了)
   → 1つでも非該当 → エスカレーション

証跡の残し方

エラーが発生した場合は以下の作業を実施する。

① 対象期間のログCSVを出力(エラー発生時刻〜1時間)
② CSVを編集ツールで開き、10行をコピー
③ 原本シートを複製して指定セルにログを貼り付け
④ 「再試行回数60回超過」「StatusCode:2」の文言を確認して色付き強調
⑤ 同一RIDで複数エラーの場合はシート名を[RID]_XX形式で作成

資料で勉強するだけでなく、実際に手を動かして
確認・判定・証跡作成まで担当できるようになった。
時間はかかったが、ようやく実務として動いている実感がある。

チェックリスト(日次・週次作業)

毎シフトで確認している定期作業が固まってきた。

作業 頻度
TransAm連携リカバリ確認 毎日
numDeliverable関連エラー発生確認 毎日
BAT329確認 毎日(9/18〜追加)
日次バッチ正常終了確認 毎日

引き継ぎ体制の運用状況

3社共有のMarkdown形式作業日誌が定着してきた。
チェックリスト・アラート発生状況・引き継ぎ事項を
毎シフト記録することで、次の担当者が状況をすぐ把握できる。

シフト変更の影響

前シフト(02:00〜10:30終了)と比較して
現シフト(18:00〜02:00)に変わったことで
生活リズムが整いやすくなった。

前シフト:10:30終了 → 帰宅後いろいろして → 12時就寝
          → 完全に昼夜逆転状態で体への負担が大きかった

現シフト:02:00終了 → 帰宅・入浴して → 3〜4時就寝
          → 深夜帯ではあるが前よりずっと楽になった

感想

資料で勉強していた段階から、ようやく実際の作業を
自分で担当できるフェーズに移ってきたと実感している。

特定バッチ処理の確認作業は、Datadogでのログ検索から
パターン判定・証跡作成・エスカレーション判断まで
一連の流れを自分で動かす初めての本格的な定型作業だった。

時間がかかりすぎたという思いもあるが、
引き継ぎ文書の作成・新しい作業の習得・
アラート対応と並行して進めてきた10日間は
本当に密度が濃かった。

シフトが変わって体への負担が減った分、
仕事への集中力が上がってきていると感じている。
これからもひとつひとつ着実に積み上げていく。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?