「Zabbix unreachable poller processes more than 75%」という警告が心当たりが無いのに来ていて（根拠無き自信）原因究明に重い腰を上げた記録です。
pingでUnreachableなサーバーはエラーになっているのでわかりますが、SNMPの取得エラーになっているとはっきりわかりません。ということで放置していたのですが、アラートが頻繁になって気になってきたので調査しました。
pollerプロセスを調べる
ps axu|grep -i unreachableでプロセスを確認します。
$ ps axu|grep -i unreachable
zabbix 13920 0.0 0.0 14168 1124 pts/0 S+ 18:19 0:00 grep --color=auto -i unreachabl
zabbix 15099 0.0 0.2 316760 21756 ? S 9月15 14:26 /usr/sbin/zabbix_server:
unreachable poller #1 [got 2 values in 10.592765 sec, idle 5 sec]
zabbix 15100 0.0 0.2 316756 21772 ? S 9月15 14:28 /usr/sbin/zabbix_server:
unreachable poller #2 [got 3 values in 11.996739 sec, getting values]
zabbix 15101 0.0 0.2 316752 21680 ? S 9月15 14:27 /usr/sbin/zabbix_server:
unreachable poller #3 [got 1 values in 9.009887 sec, getting values]
zabbix 15102 0.0 0.2 316772 21768 ? S 9月15 14:27 /usr/sbin/zabbix_server:
unreachable poller #4 [got 1 values in 9.009850 sec, getting values]
zabbix 15103 0.0 0.2 316768 21764 ? S 9月15 14:29 /usr/sbin/zabbix_server:
unreachable poller #5 [got 3 values in 11.751342 sec, getting values]
....
これでプロセスIDがわかります。たしかに時間のかかってるプロセスがありそうです。実行されるプロセスはランダムで解放されるので適当にあたりをつけます。PIDは変わらないので、どでれも良さそうです。
straceで調べる
straceコマンドで調査します。#5のPIDが15103なので、なんとなくこれを調べて見ることにします。straceは流れていくので(Timeout)が見えた当たりで適当にストップしてログを見ます。
$ sudo strace -p 15103
strace: Process 15103 attached
....
uname({sysname="Linux", nodename="zabbix", ...}) = 0
getsockopt(10, SOL_SOCKET, SO_SNDBUF, [212992], [4]) = 0
getsockopt(10, SOL_SOCKET, SO_RCVBUF, [212992], [4]) = 0
sendmsg(10, {msg_name={sa_family=AF_INET, sin_port=htons(161), sin_addr=inet_addr("172.17.9.111")}, msg_namelen=16, msg_iov=[{iov_base="0.\2\1\1\4\6public\245!\2\4\17\357]y\2\1\0\2\1\0220\0230\21\6"..., iov_len=48}], msg_iovlen=1, msg_controllen=0, msg_flags=0}, MSG_DONTWAIT|MSG_NOSIGNAL) = 48
select(11, [10], NULL, NULL, {tv_sec=2, tv_usec=999998}) = 0 (Timeout)
sendmsg(10, {msg_name={sa_family=AF_INET, sin_port=htons(161), sin_addr=inet_addr("172.17.9.111")}, msg_namelen=16, msg_iov=[{iov_base="0.\2\1\1\4\6public\245!\2\4\17\357]z\2\1\0\2\1\t0\0230\21\6"..., iov_len=48}], msg_iovlen=1, msg_controllen=0, msg_flags=0}, MSG_DONTWAIT|MSG_NOSIGNAL) = 48
select(11, [10], NULL, NULL, {tv_sec=2, tv_usec=999998}) = 0 (Timeout)
sendmsg(10, {msg_name={sa_family=AF_INET, sin_port=htons(161), sin_addr=inet_addr("172.17.9.111")}, msg_namelen=16, msg_iov=[{iov_base="0.\2\1\1\4\6public\245!\2\4\17\357]{\2\1\0\2\1\0010\0230\21\6"..., iov_len=48}], msg_iovlen=1, msg_controllen=0, msg_flags=0}, MSG_DONTWAIT|MSG_NOSIGNAL) = 48
select(11, [10], NULL, NULL, {tv_sec=2, tv_usec=999987}) = 0 (Timeout)
close(10) = 0
....
これを見ると「172.17.9.111」でTimeoutになっているようです。ということで172.17.9.111のSMNPを無効にするか、取得するプロファイルの見直しを行います。
めでたしめでたし...でなくてまだunreachableは残っているようですが、とりあえずアラート基準から大幅に下げることには成功しました。
参考