DatadogでAWSイベントを定期監視する

金曜の夜に見たくないアラートが。

続いて複数プロダクトで強制シャットダウン祭り。

DatadogでAWSイベントを監視していたのでアラートは飛んできたけど、全てのイベントが通知されてないことに気付いた。8イベント中、最初と最後の2件しかきてない。

これよく考えたら当前で、障害自体は5時間近く続いた1イベントなので、障害中のイベントは一切飛んでこない。

中間イベントも送信したかったら監視モニターにある「automatically resolve...」なんちゃらのオプションを有効化しておけば良い。例えば1時間後にアラートを自働で閉じて、その後も障害が続く場合は続報も飛ばしてくれるようになる。

Terraformならこんな感じ。

resource "datadog_monitor" "aws_service_check" {
  name                = "AWS service check"
  type                = "service check"
  message             = local.message
  query               = "'aws.status'.over('region:ap-northeast-1').by('region','service').last(2).count_by_status()"
  renotify_interval = 60

  thresholds = {
    critical = var.aws_service_check["thresholds.critical"]
  }

  tags = ["aws"]
}

朝6時にようやく落ち着いた。寝る。