なにがあったのか

平穏であるはずのとある平日の朝、サービスダウンのアラート通知がきました。
特に最近何かのリリースなど行っていなかったので、インフラ的な障害かアタックかを最初疑いました。
調べてみたところDBが負荷が異常に上がっていて、何も処理を受け付けない状態になっていました。

どうしてそうなった

何のプロセスが走っているのかSQLのプロセルを確認したところ・・・、同じ処理が二重に実行されていました。
バッチサーバのプロセスをみると、深夜に動く重たい集計処理が二重に実行されていました。
どうしてこうなった？と思ってcronの設定をみたところ・・・。

デイリーの集計処理の設定に加え、1年前の今日に設定した、「月日時分」で設定した集計処理の設定がありました。

思い起こせば1年前、集計処理の改修を行い、初めて本番で実行する前日に、もしかすると想定以上に処理時間がかかるかもしれないので、元々のデイリーのcron設定をコメントアウトして、次の日のいつもより3時間早い時間に「月日時分」を設定していたのでした。

翌日、元々のデイリーのcron設定のコメントアウトを戻したものの、「月日時分」で設定した部分は消さずにそのままにしていたようです。

そのバッチ処理も排他制御などかかっていなかったので、起動すれば同時に動かせる状態になっていました。