最新版は以下に記載しました。
https://hana-shin.hatenablog.com/entry/2024/01/29/221206

#1 環境

[root@master test]# cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

#2 事前準備
stressコマンドをインストールする。
stressコマンドのインストール、使い方は、ここを参照ください。

#3 CPU使用率(%cpu)の高い順にプロセスを表示する
psコマンドを使って、CPU使用率(%CPU)の高い順にプロセスを表示する。

stressコマンド(CPU負荷をかける)を起動する。
[root@master ~]# stress -c 1 -q &
[1] 1994

ジョブを確認する。1つ起動していることがわかる。
[root@master ~]# jobs
[1]+  実行中               stress -c 1 -q &

CPU使用率(上位5個)を確認する。stressのCPU使用率が90.5%であることがわかる。
[root@master ~]# ps ax --sort=-%cpu -o command,pid,pid,%cpu|head -n 6
COMMAND                        PID    PID   %CPU
stress -c 1 -q                1995   1995 ★90.5
/usr/bin/docker-current dae   1025   1025    7.5
/usr/bin/kubelet --logtostd   1360   1360    7.3
/usr/bin/kube-proxy --logto   1027   1027    5.7
[rcu_sched]                    137    137    5.3
[root@master ~]#

もう1つ、stressコマンド(CPU負荷をかける)を起動する。
[root@master ~]# stress -c 1 -q &
[2] 2020

ジョブを確認する。2つ起動していることがわかる。
[root@master ~]# jobs
[1]-  実行中               stress -c 1 -q &
[2]+  実行中               stress -c 1 -q &

CPU使用率(上位5個)を確認する。stressのCPU使用率が104%,98.8%であることがわかる。
[root@master ~]# ps ax --sort=-%cpu -o command,pid,pid,%cpu|head -n 6
COMMAND                        PID    PID   %CPU
stress -c 1 -q                2021   2021  ★104
stress -c 1 -q                1995   1995 ★98.8
/usr/bin/docker-current dae   1025   1025    7.3
/usr/bin/kubelet --logtostd   1360   1360    7.2
/usr/bin/kube-proxy --logto   1027   1027    5.5
[root@master ~]#

ジョブを終了する。
[root@master ~]# kill %1
[root@master ~]# kill %2
[1]-  Terminated              stress -c 1 -q
[2]+  Terminated              stress -c 1 -q

ジョブを確認する。2つとも終了したことがわかる。
[root@master ~]# jobs
[root@master ~]#

#4 メモリ使用量(RSS)の多い順にプロセスを表示する
psコマンドを使って、メモリ使用量(RSS)の多い順にプロセスを表示する。

メモリ使用量(RSS)トップ5のプロセスを確認する(初期状態の確認)。
[root@master ~]# ps ax --sort=-rss -o command,pid,ppid,vsz,rss|head -n 6
COMMAND                        PID   PPID    VSZ   RSS
/usr/bin/python -Es /usr/sb    519      1 331584 32096
/usr/lib/systemd/systemd-jo    348      1  69276 19332
/usr/lib/polkit-1/polkitd -    652      1 528276 12668
/usr/sbin/rsyslogd -n         1011      1 252140 12356
/usr/sbin/NetworkManager --    570      1 438032  8252

stressコマンドを実行する。vm-hangオプションを付けると、256M(デフォルト値)の実メモリを確保したままの状態になる。
[root@master ~]# stress -m 1 --vm-hang 0 -q &
[1] 16733
[root@master ~]# jobs
[1]+  実行中               stress -m 1 --vm-hang 0 -q &

メモリ使用量(RSS)トップ5のプロセスを確認する。stressが256Mメモリを消費していることがわかる(★印）。
[root@master ~]# ps ax --sort=-rss -o command,pid,ppid,vsz,rss|head -n 6
COMMAND                        PID   PPID    VSZ     RSS
stress -m 1 --vm-hang 0 -q   16734  16733 269400 ★262284
/usr/bin/python -Es /usr/sb    519      1 331584   32096
/usr/lib/systemd/systemd-jo    348      1  69276   19332
/usr/lib/polkit-1/polkitd -    652      1 528276   12668
/usr/sbin/rsyslogd -n         1011      1 252140   12356

もう1つ、stressコマンドを実行する（この時点で2つ起動)。
[root@master ~]# stress -m 1 --vm-hang 0 -q &
[2] 16737

ジョブを確認する。stressコマンドが2つ起動していることがわかる。
[root@master ~]# jobs
[1]-  実行中               stress -m 1 --vm-hang 0 -q &
[2]+  実行中               stress -m 1 --vm-hang 0 -q &

メモリ使用量(RSS)トップ5のプロセスを確認する。stressコマンドが各々256Mのメモリを消費していることがわかる(★印)。
[root@master ~]# ps ax --sort=-rss -o command,pid,ppid,vsz,rss|head -n 6
COMMAND                        PID   PPID    VSZ     RSS
stress -m 1 --vm-hang 0 -q   16734  16733 269400 ★262284
stress -m 1 --vm-hang 0 -q   16738  16737 269400 ★262284
/usr/bin/python -Es /usr/sb    519      1 331584   32072
/usr/lib/systemd/systemd-jo    348      1  69276   19332
/usr/lib/polkit-1/polkitd -    652      1 528276   12668

あと始末をする(stressコマンドを終了する）。
[root@master ~]# jobs
[1]-  実行中               stress -m 1 --vm-hang 0 -q &
[2]+  実行中               stress -m 1 --vm-hang 0 -q &

ジョブを終了する。
[root@master ~]# kill %1
[root@master ~]# kill %2
[1]-  Terminated              stress -m 1 --vm-hang 0 -q
[2]+  Terminated              stress -m 1 --vm-hang 0 -q

ジョブを確認する。2つとも終了したことがわかる。
[root@master ~]# jobs
[root@master ~]#

#5 ディスクアクセスの割合が高いプロセスを調べる方法
##5.1 事前準備(iotopのインストール)

[root@master test]# yum install iotop
[root@master test]# iotop --version
iotop 0.6

##5.2 バッチモードを使った調べ方

パラメータの意味

t => 時刻を表示する。
b => バッチモード.実行結果をファイルにリダイレクトする時に使う。
o => I/Oを実行しているプロセスだけを表示する。
d => iotopの実行間隔(秒)を指定する。

iotopの実行結果をファイルにリダイレクトする。1秒間隔で情報を採取する。
[root@master test]# iotop -t -b -o -d 1 > iotop.txt
-以下、略-

stressコマンド(I/O負荷)を実行する。
[root@master test]# stress -d 1 -q &
[1] 9682

採取したファイルからstressコマンドだけ絞り込む。
stressプロセスのディスクアクセス率が高いことがわかる(★印)。
[root@master test]# cat iotop.txt |grep -w stress
22:04:58   9683 be/4 root        0.00 B/s   65.23 M/s  0.00 % ★89.09 % stress -d 1 -q
22:04:59   9683 be/4 root        0.00 B/s   60.29 M/s  0.00 % ★80.59 % stress -d 1 -q
22:05:00   9683 be/4 root        0.00 B/s   66.61 M/s  0.00 % ★83.27 % stress -d 1 -q
22:05:02   9683 be/4 root        0.00 B/s   50.87 M/s  0.00 % ★51.99 % stress -d 1 -q
22:05:03   9683 be/4 root        0.00 B/s   56.02 M/s  0.00 % ★13.90 % stress -d 1 -q
22:05:04   9683 be/4 root        0.00 B/s   82.53 M/s  0.00 % ★73.77 % stress -d 1 -q
22:05:05   9683 be/4 root        0.00 B/s   75.23 M/s  0.00 % ★45.38 % stress -d 1 -q
22:05:07   9683 be/4 root        0.00 B/s   56.95 M/s  0.00 % ★24.16 % stress -d 1 -q
[root@master test]#

##5.3 interactiveモードを使った調べ方

stressコマンドを実行する。
[root@master ~]# stress -d 1 -q &
[1] 16860

ジョブを確認する。stressが1つ起動していることが確認できる。
[root@master ~]# jobs
[1]+  実行中               stress -d 1 -q &

iotopを実行する。
[root@master ~]# iotop

stressコマンドを実行する。(この時点でstressプロセスが2つ動作していることになる）
[root@master ~]# stress -d 1 -q &
[2] 16865

ジョブを確認する。stressが2つ起動していることが確認できる。
[root@master ~]# jobs
[1]-  実行中               stress -d 1 -q &
[2]+  実行中               stress -d 1 -q &

iotopを実行する。
[root@master ~]# iotop

#6 ディスク使用量の多いディレクトリの求め方

##6.1 duコマンドが出力する数値の意味
ファイルが使用するディスク使用量を4K単位で出力する。

サイズが10バイトのファイルを作成する。
[root@master dd]# head -c 10 /dev/urandom > test.txt
[root@master dd]# ls -l test.txt
-rw-r--r-- 1 root root 10  3月  1 22:26 test.txt

ディスク使用量を確認する。4k使用していることがわかる。
[root@master dd]# du -h .|sort -rhk1,1
4.0K    .

サイズが4096バイトのファイルを作成する。ディスク使用量は4K
[root@master dd]# head -c 4096 /dev/urandom > test.txt
[root@master dd]# ls -l test.txt
-rw-r--r-- 1 root root 4096  3月  1 22:30 test.txt
[root@master dd]# du -h .|sort -rhk1,1
4.0K    .

サイズが4097バイトのファイルを作成する。ディスク使用量が8Kになったことがわかる。
[root@master dd]# head -c 4097 /dev/urandom > test.txt
[root@master dd]# ls -l test.txt
-rw-r--r-- 1 root root 4097  3月  1 22:30 test.txt
[root@master dd]# du -h .|sort -rhk1,1
8.0K    .

##6.2 ディスク使用量の多いディレクトリをしらべる

初期状態を確認する。
[root@master dd]# ls
[root@master dd]# du -h .|sort -rhk1,1
0       .

ファイルを作成する。
[root@master dd]# dd if=/dev/zero of=test.txt bs=1024 count=100000
-中略-

ファイルサイズを確認する。
[root@master dd]# ls -l
合計 100000
-rw-r--r-- 1 root root 102400000  3月  1 22:16 test.txt

ディスク使用量を確認する。
[root@master dd]# du -h .|sort -rhk1,1
98M     .
[root@master dd]#

ファイルを作成する。
[root@master dd]# mkdir test1
[root@master dd]# dd if=/dev/zero of=./test1/test.txt bs=1024 count=100000
-中略-

ディスク使用量を確認する。
[root@master dd]# du -h .|sort -rhk1,1
196M    .
98M     ./test1

#7 CPU steal
Understanding CPU Steal Time - when should you be worried?
Understanding CPU Steal – An Experiment

#8 カーネルの送受信処理にかかる時間の求め方
##8.1 採取データ
ping(GW宛)を実行して、straceとtcpdumpを同時に実行する。

--------------------
1. strace実行結果
--------------------
straceを実行する。<>内の時間は、システムコールの実行完了にかかった時間(-Tオプション)を表す。
したがって、sendmsgからの復帰時刻は、20:37:53.962806 + 0.000431 = 53.963237 となる。recvmsgも同様である。
[root@master tcpdump]# strace -ttT -f -e trace=sendmsg,recvmsg  ping -c 1 192.168.0.1 > /dev/null
20:37:53.962806 sendmsg(3, -中略- = 64 <0.000431>
20:37:53.963762 recvmsg(3, -中略- = 84 <0.004102>

--------------------
2. tcpdump実行結果
--------------------
tcpdumpは、カーネルからドライバにIPパケットを渡すときにキャプチャされるものです。
したがって、下記左端の時刻は、T2,T3の時刻を表す。
[root@master tcpdump]# tcpdump -i eth0 icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
20:37:53.963278 IP master > 192.168.0.1: ICMP echo request, id 1865, seq 1, length 64
20:37:53.967752 IP 192.168.0.1 > master: ICMP echo reply, id 1865, seq 1, length 64

##8.2 環境

   +------- master ------+
   |                     |
   |              ping   |
   |                |    |
   |                |    |
   |   T4          T1    | T1,T4の時刻はstraceで求める。
   |  +----------------+ | ともにシステムコールから復帰する時刻です。
   |  |     kernel     | |　　T1=20:37:53.962806 + 0.000431 = 20:37:53.963237
   |  +----------------+ |    T4=20:37:53.963762 + 0.004102 = 20:37:53.967864
   |    |           |    |
   |    |           |    |
   |   T3          T2    | T2,T3の時刻はtcpdumpより求める。
   |    |           |    |    T2=20:37:53.963278
   |    |           |    |    T3=20:37:53.967752
   |  +----------------+ |
   |  | Network driver | | カーネルの送信処理に費やした時間(T2-T1) = 53.963278 - 53.963237
   |  +----------------+ |                                      = 0.000041(41μ秒)
   |    |           |    |
   |    |           |    | カーネルの受信処理に費やした時間(T4-T3) = 53.967864 - 53.967752
   +----|--- eth0 --|----+                                      = 0.000112(112μ秒)
        |           |
        |           |
        <---　GW <--+

#9 ネットワーク遅延をおこす疑似環境構築

##9.1 環境
カーネルとドライバの間にqdiscと呼ばれるキューがあります。
カーネルがドライバにIPパケットを渡すととき、このqdiscを経由します。
qdiscでは、IPパケットの送信順序の並べ替えや、廃棄、シェーピング等の制御ができます。


   +------- master ------+               +------- node1 -------+
   |                     |               |                     |
   |              ping   |               |                     |
   |                |    |               |                     |
   |  +----------------+ |               |  +----------------+ |
   |  |     kernel     | |               |  |     kernel     | |
   |  +----------------+ |               |  +----------------+ |
   |    A           |    |               |     A         |     | ★遅延設定ポイント
   |    |           |    |               |     |        ★     |  (tcコマンドを実行して遅延を設定する）
   |    |           |    |               |     |      (qdisc)  |
   |    |           |    |               |     |         |     |
   |  +----------------+ |               |  +----------------+ |
   |  | Network driver | |               |  | Network driver | |
   |  +----------------+ |               |  +----------------+ |
   |    |           |    |               |     |         |     |
   |    |           |    |               |     |         |     |
   +----|--- eth0 --|----+               +-----|-- eth0 -|-----+
        |     | .10 |                          |     |.20|
        |     |     +------ ICMP req ----------+     |   |
        |     |                                      |   |
        |     +============ 192.168.0.0/24 ==========+   |
        |                                                |
        +------------------ ICMP resp -------------------+

##9.2 遅延の設定、状態表示、削除

1000ミリ秒の遅延を設定する。
[root@node1 ~]# tc qdisc add dev eth0 root netem delay 1000ms

設定を確認する。
[root@node1 ~]# tc qdisc show dev eth0
qdisc netem 8002: root refcnt 2 limit 1000 delay 1.0s

設定を削除する。
[root@node1 ~]# tc qdisc del dev eth0 root

設定を確認する。
[root@node1 ~]# tc qdisc show dev eth0
qdisc pfifo_fast 0: root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

##9.3 効果の確認

-----------------------------
1. 遅延を設定しない場合
-----------------------------
pingを実行する。実行完了に約18ミリ秒(★印)かかっていることがわかる。
[root@master ~]# ping -c 1 192.168.0.20
PING 192.168.0.20 (192.168.0.20) 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=17.8 ms

--- 192.168.0.20 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = ★17.846/17.846/17.846/0.000 ms

----------------------------------
2. 遅延(1000ミリ秒)を設定した場合
----------------------------------
1000ミリの遅延を設定する。
[root@node1 ~]# tc qdisc add dev eth0 root netem delay 1000ms

pingを実行する。実行完了に約1118ミリ秒(★印)かかっていることがわかる。
[root@master ~]# ping -c 1 192.168.0.20
PING 192.168.0.20 (192.168.0.20) 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=1118 ms

--- 192.168.0.20 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = ★1118.091/1118.091/1118.091/0.000 ms

設定を削除する。
[root@node1 ~]# tc qdisc del dev eth0 root


----------------------------------
3. 遅延(2000ミリ秒)を設定した場合
----------------------------------
2000ミリの遅延を設定する。
[root@node1 ~]# tc qdisc add dev eth0 root netem delay 2000ms

pingを実行する。実行完了に約2011ミリ秒(★印)かかっていることがわかる。
[root@master ~]# ping -c 1 192.168.0.20
PING 192.168.0.20 (192.168.0.20) 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=2011 ms

--- 192.168.0.20 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = ★2011.925/2011.925/2011.925/0.000 ms

#X 参考情報
lookbusy -- a synthetic load generator
iotopでLinuxのプロセス毎のディスクI/Oを監視する
perfコマンド