prometheusでやりたかったことの１つとしてアラート通知制御があります。
今回はalertmanagerを使ってアラート通知の制御設定をしていきます。

alertmanagerの準備

以下からalertmanagerをダウンロードしてきます。
prometheus公式

ダウンロードしたものを展開して/homeの下に配置しました。

「./alertmanager --config.file=simple.yml」で実行できるんですが、
設定を変更する必要があるのでsimple.ymlをベースにalert.ymlを用意しました。
※cp simple.yml alert.ymlという感じで用意した。

通知方法

今回はメールにしたのでglobalでは以下のように設定しました。

routeディレクティブで設定した内容で通知されるようです。

warnとcriticalが同時になった場合、criticalだけを通知するようなことが可能なようです。

今回はメールなので以下のような設定にしました。

ここまでやったら「./alertmanager --config.file=alert.yml」で実行します。

alertmanagerはprometheusから通知されるアラートの扱いを管理するもののようで、
通知自体はprometheus側で行う必要があります。

alertのルールを用意していきます。
「/home/promethues」配下に移動してから作業

中身はシンプルにInstanceDownだけにした。

次にprometheus.ymlのalertingとrule_filesを変更

これで準備ができた。

prometheusを起動して、node_exporterを停止するとアラートメールが通知されるはずです。
ちなみにalertmanagerも「グローバルIP:9093」にブラウザでアクセスすると以下のような確認ができます。

ここでは確認してないですがrepeatで指定した1h（１時間ごと）に再通知されると思います。

ここまでで、簡単ではありますが、以下を行って来たので
一通りは完了かなと思ってます。

あとは監視対象を増やしたりアラートメールの種類を増やしていければなと思います。