関連

概要

Prometheusでの、PostgreSQLのメトリクス収集用のPostgres ExporterのDocker環境構築手順。

前提条件

以下の手順でPrometheus環境を構築していることを前提とする。
https://qiita.com/Esfahan/items/0feaedfd771f49ac7ee4

Postgres exporter

こちらを利用する。
https://github.com/prometheus-community/postgres_exporter

環境

postgres_exporter v0.9.0
PostgreSQL 9.6

監視対象のPostgresの設定

pg_stat_statementsの有効化

以下を参考にpg_stat_statementsを有効化する。
参考：https://qiita.com/Esfahan/items/2f0c5ad85671d435f209

もしpg_stat_statementsを有効化しない場合は、次項の「メトリクス収集用ユーザーの作成」で、CREATE OR REPLACE VIEW postgres_exporter.pg_stat_statementsの箇所を実行せずにskipする。

メトリクス収集用ユーザーの作成

defaultでは like pg_stat_statements や pg_stat_activity はsuperuser以外では参照できない。もしsuperuser以外でメトリクス収集する場合は、以下を実行する。

以下の例ではpostgres_exporterという名前のメトリクス収集用のユーザーを作成する。
パスワードは、ALTER USER postgres_exporter WITH PASSWORD 'password';で設定しているので、パスワード値を適宜変更する。

参考：https://github.com/prometheus-community/postgres_exporter#running-as-non-superuser

-- To use IF statements, hence to be able to check if the user exists before
-- attempting creation, we need to switch to procedural SQL (PL/pgSQL)
-- instead of standard SQL.
-- More: https://www.postgresql.org/docs/9.3/plpgsql-overview.html
-- To preserve compatibility with <9.0, DO blocks are not used; instead,
-- a function is created and dropped.
CREATE OR REPLACE FUNCTION __tmp_create_user() returns void as $$
BEGIN
  IF NOT EXISTS (
          SELECT                       -- SELECT list can stay empty for this
          FROM   pg_catalog.pg_user
          WHERE  usename = 'postgres_exporter') THEN
    CREATE USER postgres_exporter;
  END IF;
END;
$$ language plpgsql;

SELECT __tmp_create_user();
DROP FUNCTION __tmp_create_user();

-- passwordを適宜変更
ALTER USER postgres_exporter WITH PASSWORD 'password';
ALTER USER postgres_exporter SET SEARCH_PATH TO postgres_exporter,pg_catalog;

-- If deploying as non-superuser (for example in AWS RDS), uncomment the GRANT
-- line below and replace <MASTER_USER> with your root user.
-- GRANT postgres_exporter TO <MASTER_USER>;
CREATE SCHEMA IF NOT EXISTS postgres_exporter;
GRANT USAGE ON SCHEMA postgres_exporter TO postgres_exporter;
GRANT CONNECT ON DATABASE postgres TO postgres_exporter;

CREATE OR REPLACE FUNCTION get_pg_stat_activity() RETURNS SETOF pg_stat_activity AS
$$ SELECT * FROM pg_catalog.pg_stat_activity; $$
LANGUAGE sql
VOLATILE
SECURITY DEFINER;

CREATE OR REPLACE VIEW postgres_exporter.pg_stat_activity
AS
  SELECT * from get_pg_stat_activity();

GRANT SELECT ON postgres_exporter.pg_stat_activity TO postgres_exporter;

CREATE OR REPLACE FUNCTION get_pg_stat_replication() RETURNS SETOF pg_stat_replication AS
$$ SELECT * FROM pg_catalog.pg_stat_replication; $$
LANGUAGE sql
VOLATILE
SECURITY DEFINER;

CREATE OR REPLACE VIEW postgres_exporter.pg_stat_replication
AS
  SELECT * FROM get_pg_stat_replication();

GRANT SELECT ON postgres_exporter.pg_stat_replication TO postgres_exporter;

CREATE OR REPLACE FUNCTION get_pg_stat_statements() RETURNS SETOF pg_stat_statements AS
$$ SELECT * FROM public.pg_stat_statements; $$
LANGUAGE sql
VOLATILE
SECURITY DEFINER;

-- pg_stat_statementsを利用しない場合は以降は実行しない
CREATE OR REPLACE VIEW postgres_exporter.pg_stat_statements
AS
  SELECT * FROM get_pg_stat_statements();

GRANT SELECT ON postgres_exporter.pg_stat_statements TO postgres_exporter;

作成されたものなど確認

psql -U postgres_exporter -W -d postgres
postgres=# \l
                                    List of databases
   Name    |  Owner   | Encoding |  Collate   |   Ctype    |      Access privileges
-----------+----------+----------+------------+------------+------------------------------
 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =Tc/postgres                +
           |          |          |            |            | postgres=CTc/postgres       +
           |          |          |            |            | postgres_exporter=c/postgres
 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres                 +
           |          |          |            |            | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres                 +
           |          |          |            |            | postgres=CTc/postgres
(3 rows)

postgres=# \dn
       List of schemas
       Name        |  Owner
-------------------+----------
 postgres_exporter | postgres
 public            | postgres
(2 rows)

postgres=# \du
                                       List of roles
     Role name     |                         Attributes                         | Member of
-------------------+------------------------------------------------------------+-----------
 postgres          | Superuser, Create role, Create DB, Replication, Bypass RLS | {}
 postgres_exporter |                                                            | {}

postgres=> \d
                     List of relations
      Schema       |        Name         | Type |  Owner
-------------------+---------------------+------+----------
 postgres_exporter | pg_stat_activity    | view | postgres
 postgres_exporter | pg_stat_replication | view | postgres
 postgres_exporter | pg_stat_statements  | view | postgres
(3 rows)

Postgres Exporterの環境構築

docker-compose.yaml

version: '3'

services:
  postgres-exporter:
    container_name: postgres-exporter
    image: quay.io/prometheuscommunity/postgres-exporter
    hostname: postgres-exporter
    env_file:
      - .env
    ports:
      - 9187:9187
    networks:
      - sample-network
networks:
    sample-network:
        external: true

.env

DATA_SOURCE_NAME=postgresql://postgres_exporter:password@sample-postgres:5432/postgres?sslmode=disable

DATA_SOURCE_NAMEは、"や'などクォーテーションを付けるとpostgres-exporterでパースされなかったので付けないこと。

$ docker-compose up -d --build

Prometheusの設定

こちらの記事で構築したPrometheus環境の設定ファイルを編集する。

監視対象を追加

prometheus.yamlに以下を追記。

prometheus/prometheus.yaml

# 前略
scrape_configs:
+  - job_name: postgres
+    metrics_path: /postgres_exporter/metrics
+    static_configs:
+      - targets:
+        - your-postgres-exporter-hostname:9187
+        labels:
+          env: development

設定を反映

$ sudo docker-compose restart prometheus

ルールを追加

/etc/prometheus/alert.rules

groups:
  - name: sample001
    rules:
      # Postgres用のルールを追記
      - alert: Postgres_down
        # Postgresが起動しているかのPromQL。
        expr: pg_up == 0
        # 5分間応答がなければアラートを飛ばす
        for: 5m
        labels:
          severity: critical
        # エラー文言
        annotations:
          firing_text: "[{{ $labels.env }}] {{ $labels.instance }} PostgreSQL has been down for more than 5 minutes."
          resolved_text: "[{{ $labels.env }}] {{ $labels.instance }} PostgreSQL has recoverd."

UI確認

http://your_prometeus.com:9090/graph
pg_up == 1であればpostgresが正常に起動しているということ。0が異常状態。

その他

Error: function pg_current_wal_lsn() does not exist

pg_current_wal_lsn() はpostgres 10以降に実装された関数なので、9系ではエラーが出る。

$ docker logs -f postgres-exporter
time="2021-06-07T17:51:16Z" level=info msg="Error running query on database \"sample-postgres:5432\": pg_replication_slots pq: function pg_current_wal_lsn() does not exist" source="postgres_exporter.go:1503"

2021/03/04にIssueが上がっており、対応してくれそうなので待ち。
https://github.com/prometheus-community/postgres_exporter/issues/495

DockerのexporterからホストOSのpostgresにアクセスする場合

ホストOSのpostgresがpg_hba.confでアクセス制限を厳密にやっている時の対策方法。

docker-compose.yaml

以下の様にnetworksの設定でコンテナのIPアドレスを固定する。

docker-compose.yaml

version: '3'

services:
  postgres-exporter:
    container_name: postgres-exporter
    image: quay.io/prometheuscommunity/postgres-exporter
    hostname: postgres-exporter
    extra_hosts:
      # コンテナ内からホストOSのlocalhostへアクセスするための設定
      # ホストOSのdocker0のIPアドレスが渡される
      - "host.docker.internal:host-gateway"
    env_file:
      - ./postgres-exporter/.env
    ports:
      - 127.0.0.1:9187:9187
    restart: always
    networks:
      exporter-network:
        # このコンテナのIPアドレスを以下に固定
        ipv4_address: 192.168.200.1

networks:
  exporter-network:
    ipam:
      driver: default
      config:
        # 16個確保
        - subnet: 192.168.200.0/28

pg_hba.conf

pg_hba.confで、先程固定したexporterのコンテナIPアドレスからの接続許可設定をする。

host dbname postgres_exporter 192.168.200.1/32 md5

postgresql.conf

postgresql.confのlistenを書き換える

-listen_addresses = '127.0.0.1'
+listen_addresses = '*'

接続確認

exporterからではなくホストOS上からコマンドで接続確認する方法。これで接続確認できれば、おそらくDockerコンテナからも接続できる。

docker0のIPアドレスを確認

以下のコマンドでdocker0のIPアドレスを確認。
ここでは、192.168.249.1だったとする

$ /sbin/ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.249.1  netmask 255.255.255.0  broadcast 192.168.249.255

psqlで確認

docker0のIPアドレスをホストに指定して接続。

$ psql dbname -p 5432 -U postgres_exporter -h 192.168.249.1 -W

関連記事