Zabbixでtd-agentを動かす際に、監視をしたいので、テンプレートを作成します。
テンプレートを作成
以下のように設定します。
作成後、テンプレート一覧からTemplate App td-agent Serviceを選択して、各種設定していきます。
まず、アプリケーションを作成します。
アイテムの作成
つぎに、アイテムを作成します
プロセス数の監視
プロセスが立ち上がっているか確認するために、以下のように設定します。
バッファのファイル数監視
Fluentdのバッファをファイルにしている場合、そのバッファのファイル数が増え続けてくると、Fluentdがouptputが捌けていないことになります。
その監視をするために、バッファのファイル数を監視します。
Zabbixエージェントのユーザパラム設定で、監視できるようにします。
# Zabbixエージェントの設定ファイルが ```/etc/zabbix/zabbix_agentd.d``` を読み込むように設定する
# ファイルを開きます
vi /etc/zabbix/zabbix_agentd.d/userparameter_td-agent.conf
# 以下を追記します。
UserParameter=td-agent.bufnum[*],ls $1 2>/dev/null | wc -l
設定が終わったらエージェントを再起動します。
service zabbix-agent restart
つぎに、ZabbixのWeb UIで監視するバッファを設定します。今回はバッファが /var/log/td-agent/buffer/ 以下にあると仮定し、以下のように設定します。
グラフの作成
アイテムだけ作成しても、監視項目のグラフがないと状況が見えにくいのでグラフを作成します。
そうすると以下のように表示されます。
トリガー
実際の運用環境ではプロセスの数が一定数を下回ったら、とか、バッファの数が一定数以上になったらなどでトリガーを設定する必要がありますが、今回は以下のものについて設定します。
プロセス数が一定数以下になったらトリガー
[設定]->[テンプレート]で「Template App td-agent Service」を選び、トリガーをクリックします。
その後、トリガーの作成をクリックします。
以下のように、各種入力して、追加をクリックします。その後、図のようにアイテムを選んでいきます。
結果的に以下のようになったら挿入します。
復旧条件も足し、最終的に以下のようにｓたら追加します。
td-agentを止めてアラートがでるか確かめて、出ていれば完了です
バッファファイル数が一定ならトリガー
以下のように設定します。
まとめ
Zabbixでtd-agentが監視できるようになりました。
マネージドでないサービスの場合、自分で監視する必要があるのですがZabbixを使えば、簡単に設定できます。
他のサービスも今後、折を見て設定していきます。