Datadogによるダッシュボードの作成・プロセス監視

本記事の目的

エンジニア初心者が説明文章を書く練習としてQiitaに投稿してみました。
運用監視系のチームに配属しており、「仮想サーバーを対象にDatadogで監視をする」というお題が出され試行錯誤して行った検証の結果になります。
同じ初心者の方の参考になれば幸いです。

概要

IBM Cloud上のインスタンスの監視のために、Datadogを利用して、監視対象インスタンスの情報を表示するダッシュボードやプロセス監視の設定を行う。
Datadogとは、SaaS型の運用監視サービスである。可視性の高さ、横断的なモニタリングであらゆるWebサービスの内部状態を監視することが出来る。
下記が本記事の全体の流れとなる。

1. Datadogのアカウント作成
2. 監視対象インスタンスへのDatadogエージェントを導入
3. ダッシュボードの作成
4. プロセス監視モニターの作成
5. まとめ

前提環境

Datadogの監視対象としてIBM Cloud上に仮想サーバーのインスタンスを用意する。今回使用した仮想サーバーのOSはRed Hat Enterprise Linux 9.X-Minimal Install(64 bit)である。

Datadogは14日間のトライアル版を使用する。Datadogとインスタンスに導入するDatadogエージェント間の通信はデフォルトのPort 443 (HTTPS)を利用するため監視対象側で透過設定済み。

1.Datadogのアカウント作成

1. Datadogのホームページより画面右上にある[無料で始める]をクリックし、情報を入力し[サインアップ]をクリックする。
   
   

2. [next]をクリックすると、アカウントが作成できる。

2.監視対象インスタンスへのDatadogエージェントを導入

1. 左タブの[Integrations]より[Agent]をクリックする。
   

2. 今回はインスタンスにRed Hatを使用したため、[Red Hat]より、[Select API Key]をクリックし、選択し[Use API Key]をクリックする。

3. 2の操作で表示されたコマンドを、前提環境で用意したインスタンスにSSHログインし、実行する。今回は一般ユーザーで実行を行った。

#SSHログイン
ssh -i 〈秘密鍵のファイルパス〉 〈UserID〉@〈IPアドレス〉

#2の操作で表示されたコマンドの実行
DD_API_KEY=〈上記画面で指定されたAPIKey〉 DD_SITE="ap1.datadoghq.com" bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_agent7.sh)"

コマンド実行後、以下の実行結果となればエージェント導入が完了となる。

#実行結果の最後13行
Installed:

  datadog-agent-1:7.57.1-1.x86_64

Complete!

* Adding your API key to the Datadog Agent configuration: /etc/datadog-agent/datadog.yaml

* Setting SITE in the Datadog Agent configuration: /etc/datadog-agent/datadog.yaml

/usr/bin/systemctl

* Starting the Datadog Agent...

  Your Datadog Agent is running and functioning properly.

  It will continue to run in the background and submit metrics to Datadog.

  If you ever want to stop the Datadog Agent, run:

      sudo systemctl stop datadog-agent

  And to run it again run:

      sudo systemctl start datadog-agent

4. エージェント導入後の稼働状況の確認を行う。

sudo systemctl status datadog-agent

5. [Infrastructure]より[Host Map]をクリックしDatadogコンソール上でエージェントが表示されていることを確認する。

6. デフォルトでメトリクスが取得できていることを確認する。

3.ダッシュボードの作成

今回は、監視対象インスタンスのCPU占有率やメモリ情報など基本的な情報をパッと一目で把握できるためのダッシュボードの作成を目的とする。
また、ダッシュボードを作成することで、グラフの編集や新しいグラフの作成を行えるようになる。

1. [Dashboards]の[Dashboard List]より[All Hosts]をクリックしDatadog上で監視対象インスタンスを確認する。
   
   
   
   

2. ダッシュボードで監視対象インスタンスのIDを入力し検索かけても何も出てこないため、監視対象インスタンスのIDを名前に含むダッシュボードが作られていないことが確認できる。

3. [All Hosts]の自身のインスタンスから右上の[Clone]をクリックしダッシュボードを作成する。

4. [Dashboards]の[Dashboards list]より自身のダッシュボードを確認でき、ダッシュボードが作成されていることがわかる。

4.プロセス監視モニターの作成

今回は、監視対象インスタンスにおいてDatadogエージェントの停止と起動を行ったときにそれを検知してアラートを出すというプロセスの監視モニターの作成を目的とする。

1. [Monitors]の[New Monitor]より[Live Process]をクリックし、新しいモニターを作成する。
   
   
   

上記の操作を実行するため以下のコマンドを実行する。

（推奨）ファイルを編集する前にコピーを作っておくこと。
そうすることで、万が一編集に失敗しても初めからやり直すことが出来る。

#datadog.yamlファイルのコピー(datadog1.yaml)を作成する
sudo cp -p /etc/datadog-agent/datadog.yaml /etc/datadog-agent/datadog1.yaml

#以下のコマンドでファイルを開き、上の写真のコマンドを追加する
sudo vi /etc/datadog-agent/datadog.yaml

#エージェントを再起動し稼働状況を確認する
sudo systemctl restart datadog-agent
sudo systemctl status datadog-agent

2. 設定情報を入力して[create]をクリックしモニターを作成する。

[Search processes]から[command:agent]をクリックし、絞り込みを行うことで今回のDatadogエージェントのprocessを対象としている。
次に[Set alert conditions]では警告対象となる条件の設定を行う。今回は1つのDatadogエージェントが停止したらアラート出す設定にしたいため、1より低い場合にアラートが出るように設定する。

続いて、アラートを検知した時・復旧した時のメッセージの設定を行う。
メールの送信先は、本文に@メールアドレスを記載することで設定できる。

検知アラートの作成完了を確認

3. 検証

(1) 以下のコマンドでDatadogエージェントを停止し、設定したアラートの検知を確認する。

#現在のステータスの確認
sudo systemctl status datadog-agent

#datadogエージェントを停止
sudo systemctl stop datadog-agent

#変更後のステータスの確認
sudo systemctl status datadog-agent

停止してから、アラートに変更されるまでに少し時間がかかった。

無事に、設定した送信先にメールが届き検知アラートの確認ができた。

(2) 以下のコマンドでDatadogエージェントを起動し、設定した復旧イベントの通知を確認する。

#datadogのエージェントを起動する
sudo systemctl start datadog-agent

#変更後のステータスの確認
sudo systemctl status datadog-agent

こちらも起動後、表示が変更されるまでに少し時間がかかった。

無事に、設定した復旧通知の確認ができた。

5.まとめ

今回は、Datadogで監視対象インスタンスのダッシュボードを作成したり、プロセス監視モニターを作成しプロセス監視を行った。
他の手順を参考に、3日くらいでできた。やってみた感想としては、エージェント導入やダッシュボードの作成は比較的簡単にできたが、プロセス監視モニター作成に時間がかかった。特に、監視設定方法であったりDatadogエージェントの操作がDatadogのアプリ外で必要であったため少し難しく感じた。今後は、ファイルシステム監視など他の監視モニター作成にも挑戦していきたい。