Prometheusでコンテナの情報や、AWSやGCPでのService Discoveryをやって、
上手い感じに監視対象を入れたり、Grafanaで欲しい情報を載せたりしてみたけど、肝心のアラート通知をしてなかったです。

Grafanaでアラートの設定をしてみる

導入当初はAlertManagerでアラート通知すると思ってたけど、Grafana入れたらAlertManager要らないんだね。
Graphの中で設定すれば良いらしい。

メモリ使用率のアラート

こういうグラフでAlertタブの中で設定してみる。

１．[Create Alert]クリック

２．グラフの右に出てくるハートの部分をドラッグアンドドロップで閾値設定。（簡単！）
　　※これをすると勝手にConditions（下の条件式的な個所）の設定が反映されます。

３．その他の設定をする。
Alert Config

[Template variables are not supported in alert queries]
テンプレート変数がアラートクエリでサポートされていません。だそうです。

んー。テンプレート変数というと、このグラフ(というかダッシュボード）はサーバ毎に表示するようにテンプレート変数を使ってるけど、それだとダメって事か。

importしないでアラート用としてダッシュボードを作ってみました。

メモリ用グラフ（node_exporterで取得できるサーバのメモリ使用率が全部載ってる）

で、さっきと同じ感じで閾値30で試す。

OK！
matchってなってるのが閾値を超えたやつで、logsの中でEval: falseは閾値超えてないって感じかな。

今だとアラート通知はメールになってるから、次はTeamsに通知だ！

Teams側の設定は以下を参考にしました。
Microsoft Teams に PowerShell で投稿してみる
※チャンネルにIncoming Webhookを追加する所まででURLをコピーしておく。

左メニューにある[Alerting]の[Notification Channels]から[New Channels]をクリック

TypeをMicorosft TeamsにしてUrlにさっきコピーした物を張り付けるだけ。

（簡単！）

Notification Channelの設定画面で[Send Test]があるのでクリック。

（簡単！）

Prometheus 過去記事