Prometheusでコンテナの情報や、AWSやGCPでのService Discoveryをやって、
上手い感じに監視対象を入れたり、Grafanaで欲しい情報を載せたりしてみたけど、肝心のアラート通知をしてなかったです。
Grafanaでアラートの設定をしてみる
導入当初はAlertManagerでアラート通知すると思ってたけど、Grafana入れたらAlertManager要らないんだね。
Graphの中で設定すれば良いらしい。
メモリ使用率のアラート
こういうグラフでAlertタブの中で設定してみる。
１．[Create Alert]クリック
２．グラフの右に出てくるハートの部分をドラッグアンドドロップで閾値設定。（簡単！）
※これをすると勝手にConditions（下の条件式的な個所）の設定が反映されます。
３．その他の設定をする。
Alert Config
* Name : 任意
* Evaluate every : 60s 閾値の監視間隔
* [If no data or all values are null] ※値がない場合の挙動
* [If execution error or timeout]※値が取れなかった場合の挙動
TestRule実行！ しかし。。
[Template variables are not supported in alert queries]
テンプレート変数がアラートクエリでサポートされていません。だそうです。
んー。テンプレート変数というと、このグラフ(というかダッシュボード）はサーバ毎に表示するようにテンプレート変数を使ってるけど、それだとダメって事か。
別のダッシュボードで試す。
importしないでアラート用としてダッシュボードを作ってみました。
メモリ用グラフ（node_exporterで取得できるサーバのメモリ使用率が全部載ってる）
で、さっきと同じ感じで閾値30で試す。
OK！
matchってなってるのが閾値を超えたやつで、logsの中でEval: falseは閾値超えてないって感じかな。
今だとアラート通知はメールになってるから、次はTeamsに通知だ！
Teams側設定
Teams側の設定は以下を参考にしました。
Microsoft Teams に PowerShell で投稿してみる
※チャンネルにIncoming Webhookを追加する所まででURLをコピーしておく。
Grafana Notification
左メニューにある[Alerting]の[Notification Channels]から[New Channels]をクリック
TypeをMicorosft TeamsにしてUrlにさっきコピーした物を張り付けるだけ。
（簡単！）
通知テスト
Notification Channelの設定画面で[Send Test]があるのでクリック。
（簡単！）
Prometheus 過去記事
Prometheusのすすめ - Grafanaで監視対象のユーザ一覧が欲しい -
Prometheusのすすめ - 初期導入 -
Prometheusのすすめ - Service Discovery -
Prometheusのすすめ - exporter導入 node-exporter(apt-get) -
Prometheusのすすめ - exporter導入 node-exporter(バイナリ) -
Prometheusのすすめ - Service Discovery - EndPointが「http://:9100/metrics」になって、自分自身になってしまう件