はじめに 
今回は ”知っ得！” ということで読むだけでお得な情報をまとめました。
レベルはまちまちですが、皆さんの辛い想いが減るといいなと思います。
「私はこんな飛び道具もってるよ！」というかたは是非コメント欄でコメントをいただければと思います！
それでは、いってみましょう！
Tips
1. messagesが見ずらい！大事なメッセージだけ見たい
egrep -i 'resource|allocate|memory|error|fatal' /var/log/messages
2. PSコマンドの見かたがわからない、CPUを多く使用しているプロセスだけみたい
ps -e aux | sort -r -k 3 | head -n 10
3. PSコマンドの見かたがわからない、メモリを多く使用しているプロセスだけみたい
ps -e aux | sort -r -k 4 | head -n 10
4. SSL証明書を更新したのにエラーでwebページが表示できない
更新した証明書が過去のものとごちゃまぜになっていてペアが間違っていたなんてことがあります。
そういうときはそれぞれの証明書や秘密鍵の整合性をチェックしましょう。
※配置した証明書に無駄な改行が入っていた。なんてこともあるので要確認。
- key (秘密鍵)
- cert (証明書)
- ca (中間証明書)
秘密鍵とサーバ証明書の確認
openssl rsa -in /etc/httpd/conf/ssl/key -modulus -noout | openssl md5
openssl x509 -in /etc/httpd/conf/ssl/cert -modulus -noout | openssl md5
⇒ 出力された2つのhash値を確認し、同一ならOK
中間証明書とサーバ証明書の確認
openssl x509 -subject_hash -noout -in /etc/httpd/conf/ssl/ca
openssl x509 -issuer_hash -noout -in /etc/httpd/conf/ssl/cert
⇒ 出力された2つのhash値を確認し、同一ならOK
有効期限の確認
openssl x509 -in /etc/httpd/conf/ssl/cert -noout -dates
⇒ 有効期限が正常に更新されているか確認
5. 「No space left on device」 Apacheが起動できない
細かい説明は省きますがセマフォというものがあり簡単に言うと、Linux上で展開できるプロセス数には上限があるよ～ということ。
kernelに関わる設定変更を含むのでOSの動作に不具合が出る可能性があります。
スナップショット等で切り戻しができるような体制は取るようにしましょう。
/sbin/sysctl -a | grep sem
kernel.sem = 250 32000 32 128 ←ここの128が上限
kernel.sem_next_id = -1
Apacheの再起動を繰り返しているうちに子プロセスが落ちる前にApacheが起動してしまいそれが残り続け積み重ねで上限にまで達してしまうなんてことが起きることがあります。
上限まできているかの確認はこちら
ipcs -s
行数をカウント
128を超えている場合は上限の引き上げで対応できます。
※以下は1024に引き上げる際の例
vi /etc/sysctl.conf
以下の行を修正
# Semaphore
kernel.sem = 250 32000 32 1024
/sbin/sysctl -p
/sbin/sysctl -a | grep sem
6. bash上に時刻を表示したい
作業履歴などの利便性が上がります。
[user@saba ~]$ export PS1="[\u@\h \W \t]\\$ "
[user@saba ~ 10:29:50]$
7. Disk逼迫しているのに実体が存在しない！
事象
webusa-ba-1/2間で/配下に30%近くの差が生まれている。
が、下記の通り/配下に逼迫させているディレクトリが存在しない
webusa-ba-1 webusa-ba-2
7.6M /bin 7.6M /bin
23M /boot 23M /boot
192K /dev 196K /dev
30M /etc 30M /etc
1.8G /web_app 1.8G /web_app
959M /home 1.1G /home
136M /lib 136M /lib
26M /lib64 26M /lib64
16K /lost+found 16K /lost+found
4.0K /media 4.0K /media
0 /misc 0 /misc
4.0K /mnt 4.0K /mnt
0 /net 0 /net
206M /opt 206M /opt
0 /proc 0 /proc
25M /root 25M /root
14M /sbin 14M /sbin
4.0K /selinux 4.0K /selinux
4.0K /srv 4.0K /srv
0 /sys 0 /sys
218M /tmp 217M /tmp
26G /usr 26G /usr
83G /var 84G /var
対処法
プロセスが削除しようとしたファイル(NAME項に(deleted)と書いてあるファイル)を裏で掴み続けていることがあり、実ファイルが存在しないことからduでは表示されない模様。
lsofではPIDを確認できるので、掴んでいるプロセスをKillすればOK。
※killの際には、サービス影響に十分考慮すること
[root@webusa-ba-2 ~]# lsof |sort -k 7 |tail -n 50
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
～略～
jstat 6569 tomcat 1w REG 253,0 43939230041 11404478 /tmp/tomcat/javastat_tmp.log (deleted)
[root@webusa-ba-2 ~]#
根本原因を探るには
PIDがわかる
↓
ps aufxwww |grep {PID}
↓
対象プロセスがわかる
↓
子プロセスなら問題の親プロセスまで辿れる
↓
ふむふむ・・・などなど...
今回はtomcatが掴んでいるようにみえるが、実際はcrontabでルーチンさせてるshellが掴んでいたというところまでたどり着いたので、tomcatという文字列だけみてtomcatッスネ・・・という判断を行うと危険なのでそこは注意
※そもそもミドルウェアが/tmp/配下に何かを展開するのは妙だなというアプローチもある。