Prometheus + Node_exporter + Grafanaでシステム管理

Promeateus

インストール

GETTING STARTEDに従う

wget "https://github.com/prometheus/prometheus/releases/download/v2.50.1/prometheus-2.50.1.linux-amd64.tar.gz"
tar xvfz prometheus-2.50.1.linux-amd64.tar.gz
cd prometheus-2.50.1.linux-amd64

promtheusの設定

prometheus.ymlを作成します

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9090']

実行

./prometheus --config.file=./prometheus.yml

アクセス

http://localhost:9090/でアクセスして確認します

タブのStatus > Targetsで下記のようになっていたら問題ありません

Node_exporter

インストール

wget "https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz"
tar xvfz node_exporter-1.7.0.linux-amd64.tar.gz
cd node_exporter-1.7.0.linux-amd64

prometheusの設定

Node_exporterを読み込むためにprometheus.yamlを編集します

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:9090']

  # 追加
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

実行

./node_exporter

確認

Prometheusを再実行して、http://localhost:9090/にアクセスします

下記のようになっていれば、問題なくNode_exporterが読み込めています

Grafana

インストール

Install Grafanaを参考にインストールする

前提パッケージをインストール

sudo apt-get install -y apt-transport-https software-properties-common wget

GPGキーをインポート

sudo mkdir -p /etc/apt/keyrings/
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null

安定リリースのリポジトリを追加

echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

Grafanaをインストール

sudo apt-get update
sudo apt-get　install grafana
sudo apt-get install grafana-enterprise

起動

sudo systemctl start grafana-server

アクセス

下記URLからアクセス

http://localhost:3000

下記ログイン画面では、デフォルトのユーザ名：admin,パスワード:adminを入れる

パスワードの変更を求められるので変更

Prometheusと連携

1. サイドバーのDashboards > Create Dashboardをクリック
2. import dashboardをクリック
3. URLにhttps://grafana.com/grafana/dashboards/1860-node-exporter-full/を入力
4. Prometheus > Configure new data source > prometheusをクリック
5. Connectionにhttp://localhost:9090を入力
6. Save & testをクリック

確認

Dashboardで確認

systemdで管理する

Prometheus

1. /usr/bin/prometheusにprometheusのバイナリファイルを設置
2. /etc/prometheus/prometheus.ymlに設定ファイルを配置
3. /usr/lib/systemd/system/prometheus.service に以下を配置

[Unit]
Description=Monitoring system and time series database
Documentation=https://prometheus.io/docs/introduction/overview/

[Service]
Restart=always
#User=prometheus
ExecStart=/usr/bin/prometheus --config.file=/etc/prometheus/prometheus.yml
ExecReload=/bin/kill -HUP $MAINPID
TimeoutStopSec=20s
SendSIGKILL=no
LimitNOFILE=8192

[Install]
WantedBy=multi-user.target

• 自動起動設定
  systemctl enable prometheus.service

• 開始
  systemctl start prometheus.service

Node exporter

1. /usr/bin/node_exporterにnode_exporterのバイナリファイルを設置
2. /usr/lib/systemd/system/node_exporter.service に以下を配置

[Unit]
Description=Prometheus exporter for machine metrics
Documentation=https://github.com/prometheus/node_exporter

[Service]
Restart=always
#User=prometheus
ExecStart=/usr/bin/node_exporter
ExecReload=/bin/kill -HUP $MAINPID
TimeoutStopSec=20s
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

• 自動起動設定
  systemctl enable node_exporter.service

• 開始
  systemctl start node_exporter.service

Grafana

• 自動起動設定
  sudo systemctl enable grafana-server