OpsRamp アラートエスカレーション（自動インシデント化）

概要

皆さんアラートの管理はどうしてますか？

監視システムでアラートを検知した際にメールで通知が来て、チケット管理システムに内容を登録（コピペ）して、担当者を割り振って・・・といった運用をしてたりしませんか？（私の会社では、全てではありませんが大半が別々のシステムになってます）

今回は検知したアラートを一定時間放置した場合に、インシデントとして自動登録するように設定してみます。これでアラート対応漏れも防げるようになると思います。

インシデント化の流れ

今回は障害が検知されてからメールで2回通知しますが、誰も対応してくれなくてインシデントとして自動登録するように設定してみます。
アラート通知とインシデント化の通知先は別々に指定ができるので、インシデント化には上司などを設定することができます。

前提条件

通知メールを送信するため、事前に下記設定をする必要があります

• アラートを通知するユーザーを作成
• インシデントを通知するユーザーを作成
• インシデントを作成した際にメール通知するように設定

設定手順

アラートエスカレーション設定

※"OpsRamp メールでのアラート通知" でアラートエスカレーションの設定手順を記載しているので、こちらも参考に。

"Setup" > "Alerts" > "Alert Escalation" > "作成"をクリックします。

STEP1で"Alert Escalation Name"を入力して、"Mode"を"ON"に設定します。

STEP2で対象を選択します。今回は全ての対象を選択します。

STEP3ではアラート検知の条件を設定します。

STEP4ではアラート通知とインシデント化の設定をします。
まずは"Escalate alert automatically until Acknowleged, Closed, or Suppressed"を選択して、アラート送信タイミングを"Immediately"に設定します。"Escalate as"では"Notification"を選択し、ユーザーを設定します。
次に、"Add Escalation”をクリックします。

エスカレーションフローが追加されるので、タイミングを"Wait 15 minutes"に設定して"Escalate as"で"Incident"を選択します。そうするとインシデントの登録テンプレートが表示されるので、ここでは"Assign To"だけ設定しておきます。

レビュー画面で15分後にインシデントが作成される設定になっていることが確認できました。
※アラートに対して何もアクションしない場合にだけインシデントが作成されます。

アラートエスカレーションのルールが追加されました。

インシデントのメール通知設定

このままでも自動でインシデント化されるのですが、エスカレーション先のユーザーに通知されないので継続して放置され続ける可能性があります。そのため、インシデントが作成された場合にメール通知するように設定しておきます。

"Setup" > "Service Desk" > "Automation" > "通知"をクリックするとサービスデスク関連の設定一覧が表示されますので、"Incident Created"の設定を"OFF"から"ON"に変更（クリック）します。

"Yes"をクリックします。

設定が有効（ON）になりました。次に通知先を指定するため"カスタマイズ"をクリックします。

とりあえず全て選択しておきます。

通知先が追加されました。

これで、アラートが放置された場合に自動でインシデント化され、通知メールも送信されるようになりました。

動作確認

イベントログを監視しているWindows10で疑似アラートを発生させましょう。

Write-EventLog -LogName System -Source EventLog -EventID 976 -EntryType Error -Message "OpsRamp Eventlog Watch TEST"

イベントログに記録されたことを確認します。

即時でOpsRampのアラート一覧に追加されました。

通知メールも来てます。

インシデントはまだ作成されていません。このまま放置しておきましょう。

15分経過すると、アラートエスカレーションで設定した通りインシデントが自動で登録されていました。

インシデント作成の通知メールも来てます。

インシデントのアサインも設定どおりです。

通知メールとインシデント化の処理（エビデンス）が自動でコメントとして追加されています。

後の対応として、コメントを追加してステータスを"Open"にするなどしましょう。

今回は全てのアラートを対象としているので、短時間で大量のインシデントが作成されてしまいます。本番環境では不要なインシデントが作成されないよう、アラート抑制機能を利用してフィルタリングをすることをお勧めします。

おわり。