Zabbix Advent Calendar 2019の21日目の記事です。
Zabbix Server DB肥大化に対する圧縮対応の覚書です。
DB肥大化の対処として下記の2つを実施しました。
①history_log保持期間を7日に変更
②history_logテーブルのtruncate
#環境
OS:CentOS 7.5
zabbix_server_version:3.0.10
MySQL:14.14
HDD:120G
#状況
/ 配下のディスク使用率が 90% を超えている
とにかくhistory_logが肥大化している (85G)
ディスクの増設は環境制約でできない
ディスク使用状況
[root@zabbixserver ~]# df -h
ファイルシス サイズ 使用 残り 使用% マウント位置
/dev/vda2 120G 107G 13G 90% /
：
[root@zabbixserver ~]# ls -ltrh /var/lib/mysql/zabbix/history_log.ibd
-rw-r----- 1 mysql mysql 85G 12月 10 11:14 /var/lib/mysql/zabbix/history_log.ibd
DB上で確認してもhistory_logテーブルの肥大化が確認できた.
合わせてhistory_logの保持期間を確認 (90日)
DB確認結果
mysql> select table_name, table_rows as tbl_rows, ROUND((data_length+index_length+data_free)/1024/1024/1024, 2) as 'total GB', ROUND((data_length+index_length)/1024/1024/1024, 2) as 'alldataGB', ROUND(data_free/1024/1024/1024, 2) as 'freeGB' from information_schema.tables where table_schema='zabbix' and table_name='history_log';
+-------------+-----------+---------+-----------+--------+
| table_name | tbl_rows | totalGB | alldataGB | freeGB |
+-------------+-----------+---------+-----------+--------+
| history_log | 586857032 | 83.10 | 83.09 | 0.00 |
+-------------+-----------+---------+-----------+--------+
1 row in set (0.01 sec)
mysql> select history,count(history) from items where type='7' group by history;
+---------+----------------+
| history | count(history) |
+---------+----------------+
| 90 | 546 |
+---------+----------------+
1 row in set (0.01 sec)
【参考】Zabbixの各テーブルの使用状況
mysql> select table_name,table_rows,round((data_length+index_length+data_free)/1024/1024) as 'TotalUsage(data+index+free)/MB',round((data_length+index_length)/1024/1024) as 'DataUsage(data+index)/MB',round(data_free/1024/1024) as 'DataFree(free)/MB' from information_schema.tables order by table_rows desc;
+---------------------------------------+------------+--------------------------------+--------------------------+-------------------+
| TABLE_NAME | TABLE_ROWS | TotalUsage(data+index+free)/MB | DataUsage(data+index)/MB | DataFree(free)/MB |
+---------------------------------------+------------+--------------------------------+--------------------------+-------------------+
| items | 3412 | 7 | 3 | 4 |
| history | 2411 | 0 | 0 | 0 |
| functions | 2298 | 0 | 0 | 0 |
| items_applications | 2205 | 0 | 0 | 0 |
| item_preproc | 1889 | 0 | 0 | 0 |
| graphs_items | 1203 | 0 | 0 | 0 |
| triggers | 1168 | 6 | 2 | 4 |
| mappings | 1053 | 0 | 0 | 0 |
| item_discovery | 1014 | 0 | 0 | 0 |
| history_uint | 815 | 0 | 0 | 0 |
| item_condition | 668 | 0 | 0 | 0 |
| hostmacro | 633 | 0 | 0 | 0 |
(snip)
| trigger_tag | 0 | 0 | 0 | 0 |
+---------------------------------------+------------+--------------------------------+--------------------------+-------------------+
216 rows in set (0.01 sec)
【参考】
MySQLでDBとテーブルのサイズを確認するSQL
| カラム名 | 意味 |
|---|---|
| Data_length | データファイルの長さ |
| Index_length | インデックスファイルの長さ |
| Data_free | 割り当てられているが使用されていない容量 |
#DB肥大化の原因と対策方針
##DB肥大化の原因
状況で確認した通り、history_logの肥大化が大きな原因
→Serverの調査のためにDEBUG log等を垂れ流していたことが原因
それはそれで監視Server側で対処を実施 (DEBUG logの出力停止)
##対策方針
zabbix-server側の対処としては以下の2つを実施
①history_logの保持期間を変更 (logの増加スピードをを抑える、圧縮にはならない)
90日 → 10日
②history_logのtruncate (実際の圧縮作業)
##対策1 history_logの保持期間を変更
GUIで1アイテムずつ変更してもよいが、SQLで一括で変更
90日→10日へ変更
history_log保存期間変更
mysql> select history,count(history) from items where type='7' group by history;
+---------+----------------+
| history | count(history) |
+---------+----------------+
| 90 | 546 |
+---------+----------------+
1 row in set (0.01 sec)
mysql> UPDATE items SET history='10' WHERE TYPE='7';
Query OK, 546 rows affected (0.11 sec)
Rows matched: 546 Changed: 546 Warnings: 0
mysql> select history,count(history) from items where type='7' group by history;
+---------+----------------+
| history | count(history) |
+---------+----------------+
| 10 | 546 |
+---------+----------------+
1 row in set (0.00 sec)
##対策2 history log tableのtruncate実施
事前確認とzabbix-serverの停止
事前準備
[root@zabbixserver ~]# df -h
ファイルシス サイズ 使用 残り 使用% マウント位置
/dev/vda2 120G 107G 14G 89% /
(snip)
[root@zabbixserver ~]# ls -ltrh /var/lib/mysql/zabbix/history_log.ibd
-rw-r----- 1 mysql mysql 86G 12月 11 13:28 /var/lib/mysql/zabbix/history_log.ibd
[root@zabbixserver ~]# systemctl stop zabbix-server.service
[root@zabbixserver ~]# systemctl status zabbix-server.service
● zabbix-server.service - Zabbix Server
Loaded: loaded (/usr/lib/systemd/system/zabbix-server.service; enabled; vendor preset: disabled)
Active: inactive (dead) since 水 2019-12-11 13:28:13 JST; 2s ago
Process: 28246 ExecStop=/bin/kill -SIGTERM $MAINPID (code=exited, status=0/SUCCESS)
Main PID: 1128 (code=exited, status=0/SUCCESS)
12月 11 13:28:10 zabbixserver systemd[1]: Stopping Zabbix Server...
12月 11 13:28:13 zabbixserver systemd[1]: Stopped Zabbix Server...
truncate実施
truncate実施
mysql> select table_name, table_rows as tbl_rows, ROUND((data_length+index_length+data_free)/1024/1024/1024, 2) 'as total GB', ROUND((data_length+index_length)/1024/1024/1024, 2) as 'alldataGB', ROUND(data_free/1024/1024/1024, 2) as 'freeGB' from information_schema.tables where table_schema=database() and table_name='history_log';
+-------------+----------+---------+-----------+--------+
| table_name | tbl_rows | totalGB | alldataGB | freeGB |
+-------------+----------+---------+-----------+--------+
| history_log | 63632742 | 9.35 | 9.35 | 0.00 |
+-------------+----------+---------+-----------+--------+
1 row in set (0.00 sec)
mysql> truncate table history_log;
Query OK, 0 rows affected (2.66 sec)
mysql> select table_name, table_rows as tbl_rows, ROUND((data_length+index_length+data_free)/1024/1024/1024, 2) 'as total GB', ROUND((data_length+index_length)/1024/1024/1024, 2) as 'alldataGB', ROUND(data_free/1024/1024/1024, 2) as 'freeGB' from information_schema.tables where table_schema=database() and table_name='history_log';
+-------------+----------+---------+-----------+--------+
| table_name | tbl_rows | totalGB | alldataGB | freeGB |
+-------------+----------+---------+-----------+--------+
| history_log | 0 | 0.00 | 0.00 | 0.00 |
+-------------+----------+---------+-----------+--------+
1 row in set (0.00 sec)
mysql> quit
事後確認でDBが圧縮されていることを確認
事後確認
[root@zabbixserver ~]# df -h
ファイルシス サイズ 使用 残り 使用% マウント位置
/dev/vda2 120G 21G 99G 18% /
(snip)
[root@zabbixserver ~]# ls -ltrh /var/lib/mysql/zabbix/history_log.ibd
-rw-r----- 1 mysql mysql 128K 12月 11 14:11 /var/lib/mysql/zabbix/history_log.ibd
[root@zabbixserver ~]# systemctl start zabbix-server.service
[root@zabbixserver ~]# systemctl status zabbix-server.service
● zabbix-server.service - Zabbix Server
Loaded: loaded (/usr/lib/systemd/system/zabbix-server.service; enabled; vendor preset: disabled)
Active: active (running) since 水 2019-12-11 14:12:24 JST; 1s ago
Process: 28246 ExecStop=/bin/kill -SIGTERM $MAINPID (code=exited, status=0/SUCCESS)
Process: 1312 ExecStart=/usr/sbin/zabbix_server -c $CONFFILE (code=exited, status=0/SUCCESS)
Main PID: 1314 (zabbix_server)
(snip)
12月 11 14:12:24 zabbixserver systemd[1]: Started Zabbix Server.