LinuxインフラSEなら知っておくべきリソース監視に関するコマンド。
随時追加(するかも)

以下のコマンド実行例はCentOS 6.3 で確認したもの。

[root@localhost /]# cat /etc/issue
CentOS release 6.3 (Final)

空きメモリが知りたい

freeで確認可能。

# free
             total       used       free     shared    buffers     cached
Mem:       1026876     974072      52804          0     202656     348008
-/+ buffers/cache:     423408     603468
Swap:      2048276         92    2048184

ここで注意なのは、Linuxは空きメモリをbufferとcacheとして使用するので、
一見freeは少ない(上記の場合52M)と思われがちだが、実際にはbuffer+cacheとして確保されている(上記の場合600M確保されている)

ディスクの空き容量が知りたい。

dfで確認可能。基本ですね。

[root@localhost /]# df
/dev/mapper/VolGroup-lv_root
                      12941636   1851304  10432924  16% /
Filesystem           1K-blocks      Used Available Use% Mounted on
tmpfs                   510348         0    510348   0% /dev/shm
/dev/sda1               495844     70443    399801  15% /boot
/vagrant             488383484 421285716  67097768  87% /vagrant

ちなみに表示が長いと2行に分けて出力されるのだけど、スクリプトで使用率を定期的に監視したいときに非常にめんどくさい。その場合はdf -P を使えば1行で表示される。

また、df -hを使えば空き容量を人が見やすいようなGB,MB,KB表示にできる。

iノードの使用率が知りたい。

df -i で表示される。サイズの小さなファイルが非常に大量にある場合、ディスクの空き容量があるのになぜか書き込みに失敗した！なんてことが発生する。

[root@localhost /]# df -i
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/mapper/VolGroup-lv_root
                      822544   72999  749545    9% /
tmpfs                 127587       1  127586    1% /dev/shm
/dev/sda1             128016      44  127972    1% /boot
/vagrant                1000       0    1000    0% /vagrant

特定のディレクトリ以下のディスクの使用量を知りたい。

du で確認可能。結果をsortして表示したりすると分かりやすい。

[root@localhost /]# du -sk /var/* | sort -nr  | head -5
43788   /var/cache
42600   /var/lib
2060    /var/log
104     /var/run
44      /var/spool

物理ディスクの空き容量が知りたい(LVMを使っている場合)

dfでは論理ボリュームの使用量が分かるが、物理ディスクにどのくらい空きがあるか
知りたい場合は、pvdisplayを使用する。

[root@localhost /]# pvdisplay
  --- Physical volume ---
  PV Name               /dev/sda2
  VG Name               VolGroup
  PV Size               14.51 GiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              3714
  Free PE               0
  Allocated PE          3714
  PV UUID               d2cKaW-6Ir3-XKJ6-GN2K-xKr0-jqlL-Vu7Ev9

ここのFree PE * PE Sizeが空き容量に相当する。(この場合は空き容量なし)
論理ボリュームの拡張作業などを行いたい際に確認できる。
論理ボリュームに関するその他の操作はLVM各種操作コマンドを参照。

LISTENしているポート一覧を知りたい。

[root@localhost fd]# netstat -an | grep LISTEN
tcp        0      0 0.0.0.0:55118               0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN

<コメントにより追記>
grep使わなくても-lオプションでLISTENしているポートのみ表示可。

[root@localhost fd]# netstat -nlt 
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:42936               0.0.0.0:*                   LISTEN

特定のポートを使用しているプロセスが知りたい。

lsofを使うと簡単。

[root@localhost fd]# lsof -i:111
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rpcbind 1013  rpc    6u  IPv4   8479      0t0  UDP *:sunrpc
rpcbind 1013  rpc    8u  IPv4   8482      0t0  TCP *:sunrpc (LISTEN)
rpcbind 1013  rpc    9u  IPv6   8484      0t0  UDP *:sunrpc
rpcbind 1013  rpc   11u  IPv6   8487      0t0  TCP *:sunrpc (LISTEN)

特定のファイルを開いているプロセスが知りたい

lsofはファイル名を引数に与えると掴んでいるプロセスを表示できる。便利。

[root@localhost fd]# lsof /var/log/messages
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
rsyslogd 990 root    1w   REG  253,0   462813 655345 /var/log/messages

lsofが入っていないマシンの場合はfuserでもOK

[root@localhost /]# fuser /var/log/messages
/var/log/messages:    1060

プロセスが掴んでいるファイル一覧が知りたい。

lsof -p <PID>で確認できる。

[root@localhost ~]# lsof -p 991
COMMAND  PID USER   FD   TYPE             DEVICE SIZE/OFF       NODE NAME
rsyslogd 991 root  cwd    DIR              253,0     4096          2 /
rsyslogd 991 root  rtd    DIR              253,0     4096          2 /
rsyslogd 991 root  txt    REG              253,0   391968       6410 /sbin/rsyslogd
rsyslogd 991 root  mem    REG              253,0    27232     391290 /lib64/rsyslog/imklog.so
　/* 一部省略 */
rsyslogd 991 root  mem    REG              253,0   154624     407189 /lib64/ld-2.12.so
rsyslogd 991 root    0u  unix 0xffff880037aef3c0      0t0       8354 /dev/log
rsyslogd 991 root    1w   REG              253,0   492990     655345 /var/log/messages
rsyslogd 991 root    2w   REG              253,0    47992     655346 /var/log/secure
rsyslogd 991 root    3r   REG                0,3        0 4026532037 /proc/kmsg

lsofが使えなければ、/proc/<PID>/fd 以下を見てもある程度確認可能。

[root@localhost ~]# ll /proc/991/fd
total 0
lrwx------ 1 root root 64 May 24 03:39 0 -> socket:[8354]
l-wx------ 1 root root 64 May 24 03:39 1 -> /var/log/messages
l-wx------ 1 root root 64 May 24 03:39 2 -> /var/log/secure
lr-x------ 1 root root 64 May 24 03:39 3 -> /proc/kmsg

プロセス内のスレッドの数を確認したい。

ps -Lオプションでスレッドを確認可能。

[root@localhost ~]# ps aux -L
USER       PID   LWP %CPU NLWP %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
 <中略>
root      1021  1021  0.0    4  0.3 249080  3612 ?        Sl   10:18   0:00 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5
root      1021  1022  0.0    4  0.3 249080  3612 ?        Sl   10:18   0:00 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5
root      1021  1024  0.0    4  0.3 249080  3612 ?        Sl   10:18   0:00 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5
root      1021  1025  0.0    4  0.3 249080  3612 ?        Sl   10:18   0:00 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5
[root@localhost ~]# ps aux -L | head -1

同じPIDで複数のLWPが表示されているプロセスであれば、複数のスレッドを持っていることが分かる。

稼動しているプロセスを検索したい。

pgrepを使えば、PIDとプロセス名を簡単に検索できる。
ps -ef | grep ... とかより手っ取り早い。

[root@localhost ~]# pgrep -l syslog
1060 rsyslogd

プロセスのメモリマップを確認したい

pmapコマンドでそのプロセスが使用しているメモリ状況が確認できる。
メモリのチューニングや使用量の確認の際に使える。

[root@localhost ~]# pmap -x 1298
1298:   crond
Address           Kbytes     RSS   Dirty Mode   Mapping
00007fa1b356e000      48      20       0 r-x--  libnss_files-2.12.so
00007fa1b357a000    2048       0       0 -----  libnss_files-2.12.so
 (中略)
ffffffffff600000       4       0       0 r-x--    [ anon ]
----------------  ------  ------  ------
total kB          117208    1232     600```

表示される項目は以下の通り。

Address: マップの開始アドレス
Kbytes: 仮想メモリのマップサイズ(キロバイト単位)
RSS: 物理常駐メモリのマップサイズ(キロバイト単位)
Mode: マップのパーミッション: 読込み、書込み、実行、共有、プライベート(書き込み時コピー)
Mapping: マップされているファイル名、または ’[ anon ]’ で動的に確保されたメモリ、または ’[ stack ]’ でプログラムスタック
Device: デバイス名 (メジャー:マイナー)

ロードアベレージを手っ取り早く知りたい。

topでも表示されるけど、メモリリークしてたりCPU使用率が100%のときは重すぎてtopが起動しないときがある。
そんなときはuptimeのほうが早く見れるのでお勧め。

[root@localhost ]# uptime
 16:26:02 up  1:21,  1 user,  load average: 0.00, 0.00, 0.00

ロードアベレージが高いと言うことは、CPU待ちかIO待ちのプロセスが多いと言うこと。
サーバが遅いなどの問題が見受けられたら、まずはロードアベレージを確認すると良い。

システムの稼動時間が知りたい。

uptimeで確認可能。

[root@localhost ~]# uptime
 09:48:55 up 1 day, 16:20,  3 users,  load average: 0.04, 0.01, 0.00

ろくに監視していないサーバをずっと起動しているとある日突然リブートしていたりするので、そういった事象が発生していないかどうか確認するために使ったりする。

CPU使用率を定期的に取得したい。

vmstatで取るのが一般的。

[root@localhost ~]# vmstat 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 392708  10852 462084    0    0   162    12  162  285  2  0 96  1  0

procの項目：

r　…　実行可能で、「実行キュー」に入っているプロセスの数。
b　…　本来は実行可能なプロセスであるが、I/O待ちなどの何らかの理由で待ちとなっているプロセスの数

bの数が大きいとI/O負荷等が大きいことが予想される。
rが大きいとCPUの負荷が大きく、ユーザに遅いと感じさせている可能性がある。

systemの項目：

in 1秒当たりの割り込みの回数
cs 1秒当たりのコンテキストスイッチの回数

cpuの項目：

us　…　ユーザーが使用したCPUの割合（%）
sy　…　システムが使用したCPUの割合（%）
id　…　CPUアイドル時間の割合(100 - us - sy)（%）
wa　…　IO待ち時間

もっと詳細が知りたい方は以下へ
参考：http://www.fulldigit.net/content/view/54/6/

sysstatが入っているなら、sar -u <取得間隔> でも可能。

[root@localhost ~]# sar -p 5
04:38:27 PM     CPU     %user     %nice   %system   %iowait    %steal     %idle
04:38:32 PM     all      0.00      0.00      0.00      0.00      0.00    100.00
04:38:37 PM     all      0.00      0.00      0.20      0.00      0.00     99.80

各CPUごとの付加を知りたいなら、 sar -u -P ALL <取得間隔> を使う。

ディスクI/O使用率を定期的に取得したい。

vmstat -d で取得可能

[root@localhost ~]# vmstat -d 5
disk- ------------reads------------ ------------writes----------- -----IO------
       total merged sectors      ms  total merged sectors      ms    cur    sec
loop7      0      0       0       0      0      0       0       0      0      0
sr0        0      0       0       0      0      0       0       0      0      0
sda     6753   1823  462434   56021   3086   2639   36562    9380      0     28
dm-0    7228      0  453258   80149   5454      0   36544   16809      0     28
dm-1     297      0    2376     619      0      0       0       0      0      0

read/writeの項目：

total　…　読み書きに成功した総数
ms　…　読み書きに使用した時間

特定のユーザの使用しているプロセスのCPU/メモリ使用率を知りたい。

top -uオプションをつけると便利。

[root@localhost ~]# top -u oracle
 1773 oracle    20   0  608m  13m  12m S  0.0  1.4   0:01.83 oracle
 1775 oracle    20   0  608m  13m  11m S  0.0  1.4   0:01.87 oracle
 /* 省略 */

ネットワークに正常にパケットが送受信できているか確認したい。

netstat -i で確認可能。

[root@localhost ~]# netstat -i
Kernel Interface table
Iface       MTU Met    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0       1500   0     9020      0      0      0    11186      0      0      0 BMRU
lo        16436   0     2823      0      0      0     2823      0      0      0 LRU

RXが受信、TXが送信。

OK　…　正常に送受信できたパケット数
ERR　…　送受信でエラーとなったパケット数
DRP　…　送受信時に破棄したパケット数
OVR　…　送受信時にオーバーロードしたパケット数。受信側のバッファを越えてパケット送信されたとき
などがこれに該当する。

よく分からない通信エラーが出た際に確認すると、ネットワークレベルで異常があったかどうかの
確認に使用できるかも。

ユーザのログイン履歴が知りたい

リソース監視とは直接関係ないけど、利用者がいつのまにかログインして悪さしていないかどうかを
調べることはあると思うのでついでに記載。

lastlogかlastコマンドで確認可能。
lastlogで各ユーザが最後にログインした時刻を確認でき、lastは最近ログインしたユーザの時刻を確認できる。

[root@localhost ~]# last | head -5
root     pts/1        10.0.2.2         Sun May 24 03:13   still logged in
root     pts/0        10.0.2.2         Sun May 24 03:04   still logged in
reboot   system boot  2.6.32-279.5.2.e Sun May 24 01:04 - 04:18  (03:14)
root     pts/0        10.0.2.2         Sun May 17 15:06 - 17:18  (02:12)
reboot   system boot  2.6.32-279.5.2.e Sun May 17 13:04 - 17:18  (04:13)

[root@localhost ~]# lastlog -u root
Username         Port     From             Latest
root             pts/1    10.0.2.2         Sun May 24 03:13:15 +0200 2015```

プロセスの親子関係が知りたい

pstree を実行すると簡単にわかる。

[root@localhost ~]# pstree
init─┬─VBoxService───7*[{VBoxService}]
     ├─auditd───{auditd}
     ├─crond
     ├─dhclient
     ├─fcoemon
     ├─lldpad
     ├─6*[mingetty]
     ├─rpc.idmapd
     ├─rpc.statd
     ├─rpcbind
     ├─rsyslogd───3*[{rsyslogd}]
     ├─2*[sendmail]
     ├─sshd───sshd───bash───pstree
     └─udevd───2*[udevd]

上記の結果ではinitから各プロセスの親子関係がわかる。

// 間違いなどありましたらご指摘いただけると幸いです。