Linuxサーバのパフォーマンス測定スクリプト

書けば書くほどニッチな方向に向かってる気がしています。
果たして需要があるのでしょうか？
脱力モードで書きますね( ´ｰ`)ﾝﾌﾌ

2014-09-03 ジワジワ来てるので結果集計用エクセルを自分で用意してね☆（ゝω・）vｷｬﾋﾟってのが心苦しくなって来ました。
Evernote共有で申し訳ないですが一式ファイルへのリンク乗せておきます！
》 監視ロガー20140903.zip https://www.evernote.com/shard/s12/sh/1180dd43-4d5a-4461-938f-45bb405fc715/bb939159f7a2b127

パフォーマンス測定！？

困りました。
そんなんした事無いのです。
色々と調べた結果、自分で書いちゃうのがベストかなと…。

1. 測定用シェルと2. 結果を処理するエクセルの2つを使用します。

AWSのCPU負荷測定について

AWSは 50%us 近辺でCPU負荷MAXなので注意します。
cpu項目に %us と右端に %stとあります。
usとstの合計がcpu負荷合計と見ないと大変な事になります（白目）
stは Steal Time で仮想CPUのawsならではの項目になるのかな？
Steal Time を見落とすと死ぬぜ！死ぬなよ！

追記：検証してるアルパカさんがいた
microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary
http://d.hatena.ne.jp/toritori0318/20140312/1394634304

Who Stole my CPU? Few Basics on CPU Steal Time | I am OnDemand http://iamondemand.com/blog/who-stole-my-cpu/

参考コンソール1

参考にコンソール貼り付けようと思いましたが、調整済みで Steal Time 出ていません。
なんの参考にもなりません。
ですが、瞬間的ですが CPU 71%出てます。すごいです。
この場合CPUが4発なので load average値が4.0以下になっていれば適正値です。
load averageが4.0を超えると加速度的にやばいことになり Steal Time が増加するんじゃないかな…。
※ 適当なこと言ってたらご指摘頂きたいです
ちなみに m2.2xlarge です。すごく早いです。

top_on_aws

top - 00:43:24 up 64 days, 22:49,  1 user,  load average: 1.63, 1.40, 0.91
Tasks:  88 total,   1 running,  87 sleeping,   0 stopped,   0 zombie
Cpu0  :  2.7%us,  2.7%sy,  0.0%ni, 84.6%id, 10.1%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 71.6%us,  0.7%sy,  0.0%ni, 16.4%id, 11.4%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.7%sy,  0.0%ni, 98.3%id,  1.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  : 22.5%us,  1.3%sy,  0.0%ni, 25.5%id, 50.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  35062104k total, 34898468k used,   163636k free,    86940k buffers
Swap:        0k total,        0k used,        0k free, 10977060k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 6316 mysql     20   0 24.2g  22g 5092 S 101.4 66.3   8465:20 mysqld
  927 root      20   0     0    0    0 S  0.3  0.0 122:18.58 jbd2/xvda1-8
15802 root      20   0  115m 2612 1124 S  0.3  0.0  54:52.77 bash
    1 root      20   0 19360  672  364 S  0.0  0.0   0:04.07 init
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S  0.0  0.0   0:11.83 ksoftirqd/0
    4 root      20   0     0    0    0 S  0.0  0.0   1:36.49 kworker/0:0
    5 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kworker/u:0

参考コンソール2

load averageの話が出てきたので負荷が高い場合のコンソールも持ってきました。
mysqlを同時に6スレッド？だったけな？なので待ちが発生しLAも高くなっています。
Qiitaへ投稿したスレッドコントロール シェルスクリプトで同時Job数の調整をしています。
※わりと適当なこと言っているので、ちゃんと調べてください
このサーバも m2.2xlarge です（複数サーバ使ってます）

ShellScript - シェルスクリプトでコマンド多重コントロール - Qiita http://qiita.com/TanukiTam/items/b64e0669e479c26d4790

top_on_aws

top - 00:50:22 up 78 days, 17:10,  1 user,  load average: 3.12, 1.81, 1.25
Tasks: 142 total,   1 running, 140 sleeping,   0 stopped,   1 zombie
Cpu0  : 26.1%us, 11.7%sy,  0.0%ni, 19.1%id, 43.1%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  : 22.7%us,  6.0%sy,  0.0%ni, 29.3%id, 41.7%wa,  0.0%hi,  0.0%si,  0.3%st
Cpu2  : 42.8%us, 19.7%sy,  0.0%ni, 19.1%id, 18.4%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  : 26.0%us, 10.1%sy,  0.0%ni,  2.7%id, 60.8%wa,  0.0%hi,  0.0%si,  0.3%st
Mem:  35062104k total, 34849072k used,   213032k free,    77040k buffers
Swap:        0k total,        0k used,        0k free, 10919984k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
  730 mysql     20   0 23.8g  22g 5680 S 140.0 66.2   5935:28 mysqld
15130 hogehoge  20   0  103m 5312 1812 S  4.0  0.0   0:00.14 mysql
15178 hogehoge  20   0  102m 4456 1812 S  3.7  0.0   0:00.11 mysql
15226 hogehoge  20   0  102m 4508 1812 S  1.7  0.0   0:00.05 mysql
  225 root      20   0     0    0    0 S  0.7  0.0 142:39.83 kswapd0
14415 hogehoge  20   0 11580 1644 1192 S  0.7  0.0   0:00.22 sh
  929 root      20   0     0    0    0 S  0.3  0.0  81:55.33 jbd2/xvda1-8
 5758 root      20   0  108m 2604 1108 S  0.3  0.0 196:41.45 bash
    1 root      20   0 19360 1200  892 S  0.0  0.0   0:11.26 init
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S  0.0  0.0   0:28.84 ksoftirqd/0
    4 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kworker/0:0

測定用シェルスクリプト

時間単位にプロセス状況を引っこ抜いてログ出力します。
読みにくいのは後でエクセル整形するので問題ないです。
メモリやネットワークを使わなくても取得しておくと安心です。

使っているデータ

• /proc/stat
• /proc/meminfo
• /proc/net/dev - eth0

※ 形式が違っていたら自分で直して使って下さい

proc_total.sh

# !/bin/bash
#
# パフォーマンステストのために書き起こし
#
# System 状況を sleep x 毎に整形しログ出力する
# 別の excel に貼り付けて計算後に状況を確認する
#
# /proc/stat      CPU使用率
# /proc/meminfo   メモリ使用状況
# /proc/net/dev   eth0トラフィック状況
#
LANG=C
PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:
export LANG PATH
umask 022

HEADER='"date","time"'
# /proc/stat
HEADER=${HEADER}',"hostname","cpu","user","nice","system","idel","iowait","irq","softirq","steal","guest"'
# /proc/meminfo
HEADER=${HEADER}',|,"MemTotal","MemFree","Buffers","Cached","SwapCached","Active","Inactive","Active(anon)","Inactive(anon)","Active(file)","Inactive(file)","Unevictable","Mlocked","SwapTotal","SwapFree","Dirty","Writeback","AnonPages","Mapped","Shmem","Slab","SReclaimable","SUnreclaim","KernelStack","PageTables","NFS_Unstable","Bounce","WritebackTmp","CommitLimit","Committed_AS","VmallocTotal","VmallocUsed","VmallocChunk","AnonHugePages","HugePages_Total","HugePages_Free","HugePages_Rsvd","HugePages_Surp","Hugepagesize","DirectMap4k","DirectMap2M"'
# /proc/net/dev - eth0
HEADER=${HEADER}',|,"face","bytes","packets","errs","drop","fifo","frame","compressed","multicast","|bytes","packets","errs","drop","fifo","colls","carrier","compressed"'

echo $HEADER
while [ true ]
do
   CPU=(`head -1 /proc/stat`)
   CPUS="${CPU[0]},${CPU[1]},${CPU[2]},${CPU[3]},${CPU[4]},${CPU[5]},${CPU[6]},${CPU[7]},${CPU[8]},${CPU[9]}"
   MEM=`awk '{ printf ",%d",$2 }' /proc/meminfo`
   TFC=(`cat /proc/net/dev | grep eth0`)
   TFCS="${TFC[0]},${TFC[1]},${TFC[2]},${TFC[3]},${TFC[4]},${TFC[5]},${TFC[6]},${TFC[7]},${TFC[8]},${TFC[9]},${TFC[10]},${TFC[11]},${TFC[12]},${TFC[13]},${TFC[14]},${TFC[15]},${TFC[16]}"
   echo `date '+%Y/%m/%d,%H:%M:%S.%N'`","`hostname`",${CPUS},|${MEM},|,${TFCS}"
   sleep 5s
   #sleep 1m
done

出力テキスト結果加工エクセル

削除したつもりですが固有名称的ヤバいものがあれば教えて下さい。

あれ？エクセル貼れない？
自分で頑張って作ってください（うひ）

Evernote共有で申し訳ないですが一式ファイルへのリンク乗せておきます！
》 監視ロガー20140903.zip https://www.evernote.com/shard/s12/sh/1180dd43-4d5a-4461-938f-45bb405fc715/bb939159f7a2b127

proc_totalログ解析.xlsx
proc_totalログ解析_サンプル.xlsx を参考にして下さい。

• [貼り付け]シートにテキスト内容を貼り付け
• [結果]シートで前後差分の計算結果が表示される
• [結果]シートの必要な部分をコピー
• 例:[250]シートのペースト開始位置を右クリックし値貼り付け
• 後は適当に色つけたりチェックしたり

[説明]シートにちょっと説明

参考にいただいたソースと出典

その頃の明確な記憶が無いのでソースメモに残っている限りとなります。
ありがとうございました。
オレオレって人はご連絡下さい。

cpu_check.sh

cpu_check.sh

# !/bin/bash
CPU1=(`head -1 /proc/stat`)

while [ true ]
do
   sleep 1
   CPU2=(${CPU1[@]})
   CPU1=(`head -1 /proc/stat`)

   total=`expr ${CPU1[1]} - ${CPU2[1]} + ${CPU1[2]} - ${CPU2[2]} + ${CPU1[3]} - ${CPU2[3]} + ${CPU1[4]} - ${CPU2[4]}`

   user=`echo "scale=2; (${CPU1[1]} - ${CPU2[1]}) * 100 / $total" | bc;`
   nice=`echo "scale=2; (${CPU1[2]} - ${CPU2[2]}) * 100 / $total" | bc;`
   sys=`echo "scale=2; (${CPU1[3]} - ${CPU2[3]}) * 100 / $total" | bc;`
   idle=`echo "scale=2; (${CPU1[4]} - ${CPU2[4]}) * 100 / $total" | bc;`

   printf "`date '+%Y/%m/%d d %H:%M:%S.%N'` `hostname` %3.2f %3.2f %3.2f %3.2f \n" $user $nice $sys $idle
done

# LinuxでCPU使用率を取得する。 - redtower's memo http://redtower.plala.jp/2010/06/06/linux-cpu.html
# ユーザモード（user）、低優先度のユーザモード（nice）、システムモード（sytem）、タスク待ち（idle）
# 1行目にCPUの状態を表す数値が格納されている。それ以外は「man proc」で確認すること。
#
# システムが起動してから現在までに消費した時間が記録されている
# cpu  21435 120 78001 50180652 13622 1 1321 69374 0
#      |     |   |     |        |     | |    |     |
#      |     |   |     |        |     | |    |     *- 9:guest がある。これは、 Linux カーネルの制御下のゲストオペレーティングシステムの仮想 CPU の実行に消費された時間である。
#      |     |   |     |        |     | |    |
#      |     |   |     |        |     | |    *- 8:steal (盗まれた時間; stolen time) が存在する。これは、仮想化環境での動作時に他のオペレーティングシステムにより消費された時間である。
#      |     |   |     |        |     | |
#      |     |   |     |        |     | *- 7:softirq (ソフト割り込みの処理を行った時間; 2.6.0-test4 以降)
#      |     |   |     |        |     |
#      |     |   |     |        |     *- 6:irq (割り込み処理を行った時間; 2.6.0-test4 以降)
#      |     |   |     |        |
#      |     |   |     |        *- 5:iowait (I/O の完了を待っていた時間; 2.5.41 以降)
#      |     |   |     |
#      |     |   |     *- 4:タスク待ち（idle）
#      |     |   |
#      |     |   *- 3:システムモード（sytem）
#      |     |
#      |     *- 2:低優先度のユーザモード（nice）
#      |
#      *- 1:ユーザモード（user）

memory_size.sh

Apacheチューニングのためのメモリ使用量計算 - ひとりごと
http://d.hatena.ne.jp/youhey/20110115/1295060276

memory_size.sh

# !/bin/sh

GREP="/bin/grep"
AWK="/bin/awk"
PRINTF="/usr/bin/printf"

if [ $# -lt 1 ]; then
    echo "usage: ${0} [pid ...]" 1>&2
    exit 100
fi

$PRINTF "PID\tRSS\t(peak)\tVM\t(peak)\n"

for p in $@
do
    status="/proc/${p}/status"
    if [ -f $status ]; then
        rsssize=`$GREP '^VmRSS:' $status | $AWK '{print $2}'`
        rsspeak=`$GREP '^VmHWM:' $status | $AWK '{print $2}'`
        vmsize=`$GREP '^VmSize:' $status | $AWK '{print $2}'`
        vmpeak=`$GREP '^VmPeak:' $status | $AWK '{print $2}'`
        $PRINTF \
            "%d\t%d\t(%d)\t%d\t(%d)\n" \
            $p \
            $rsssize \
            $rsspeak \
            $vmsize \
            $vmpeak
    fi
done

# [root@ham1 apache]# ./memory_size.sh `pgrep httpd`
# PID     RSS     (peak)  VM      (peak)
# 11562   9788    (9812)  260064  (260088)
# 12816   9784    (9808)  260064  (260088)
# 12817   9820    (9844)  260064  (260088)
# 13591   9788    (9812)  260064  (260088)
# 13841   9784    (9808)  260064  (260088)
# 13958   9888    (9912)  260064  (260088)
# 14032   9832    (9856)  260064  (260088)
# 15380   9788    (9812)  260064  (260088)
# 15679   9788    (9812)  260064  (260088)
# 31681   11356   (11356) 256564  (256616)
# [root@ham1 apache]#

# PID
# RSS       VmRSS       topでのRES(Resident)、実際に使用している物理メモリ領域のサイズ。
#                       上結果では大体 9MB 使用している
# (peak)    VmHWM       mm->hiwater_rss か mm->rss のどちらかで高い値を示した物
#                       mm->hiwater_rss このプロセスがある時点で使っていたページフレームの最大数
#                       mm->rss         プロセスに割り当てられているページフレームの数
#                       ページフレームのサイズは固定なので、ページフレーム数 → バイト数に変換するとメモリサイズになります。
# VM        VmSize      topでのVIRT(Virtual)、仮想メモリ領域のサイズ
# (peak)    VmPeak      このプロセスがある時点で使っていた最大仮想メモリサイズ



# Apacheチューニングのためのメモリ使用量計算 - ひとりごと
# http://d.hatena.ne.jp/youhey/20110115/1295060276
#
# for p in `pgrep httpd`; do grep "^VmHWM:" /proc/$p/status |awk '{print $2}'; done
#
# $ ./memory_size.sh `pgrep httpd`
# $ sudo ./shared_memory_size.pl `pgrep httpd`
#
# 実メモリ上ページサイズ
# 平均26.77MB
# 最大31.38MB
# 最小20.9MB
#
# 実メモリ上ページサイズ（ピーク）
# 平均31.34MB
# 最大32.91MB
# 最小30.21MB
#
# 共有率
# 平均32%
# 最大41%
# 最小27%

# 計算結果から、Apacheプロセスのメモリ使用量を32MBと想定、平均して32%程度のメモリを共
# 有するものとして、Apacheプロセスが消費するメモリの予想は平均21.76MB程度か。
#
# Webサーバには4GBを搭載しているので、OSが512MB程度占有するものとして、
# 「(4GB - 512MB）/ 21.76MB」でApacheに割り当てられそうなプロセス数は164と算出できる。
#
# 余裕をもたせるとして、100〜150程度の設定が妥当そうか。

none_shared_memory_fetcher.pl

Apacheとかforkしたプロセスのメモリチューニングに関するメモとスクリプト | hirobanex.net
http://hirobanex.net/article/2013/10/1381407737

none_shared_memory_fetcher.pl

# !/usr/bin/perl
use strict;
use warnings;

@ARGV or die "usage: %0 [pid ...]";

printf "PID\tRSS\tSHARED\tNONE_SHARED\n";

for my $pid (@ARGV) {
    open my $fh, "< /proc/$pid/smaps" or (warn  $! and next);
    my @rows = <$fh>;
    my $rss    = mem_size_fetcher('Rss',@rows) or next;
    my $shared = mem_size_fetcher('Shared_Clean',@rows) + mem_size_fetcher('Shared_Dirty',@rows);

    printf
        "%d\t%d\t%d (%d%%)\t%d\n",
        $pid,
        $rss,
        $shared,
        int(($shared / $rss) * 100),
        ($rss - $shared),
}

sub mem_size_fetcher {
    my ($target,@rows) = @_;

    my $mem_size = 0;

    for my $row (@rows) {
        my ($mem) = $row =~ /^$target:\s*(\d+)/i;
        $mem_size +=($mem||0);
    }

    return $mem_size;
}

# Apacheとかforkしたプロセスのメモリチューニングに関するメモとスクリプト | hirobanex.net
# http://hirobanex.net/article/2013/10/1381407737
#
# 使い方は、naoyaさんのと同じで、
#
# sudo perl none_shared_memory_fetcher.pl `pgrep apache2` | head
#
# ってたたけば、
# PID     RSS     SHARED  NONE_SHARED
# 31021   6600    5572 (84%)      1028
# 31024   5064    4868 (96%)      196
# 31025   5068    4868 (96%)      200
# 31026   5040    4840 (96%)      200
# 31027   5684    5172 (90%)      512
# 31028   5088    4892 (96%)      196
# 31029   5032    4840 (96%)      192
# 31030   5040    4844 (96%)      196
# 31031   5044    4840 (95%)      204
# 
# 
# って感じに出力される。NONE_SHAREDのkb数が子プロセス単独のメモリ使用量なので、ばらつ
# きがあるものこれだと、だいたい大目に見て、250くらいで、×プロセス数がApacheに使うメ
# モリってことになるみたい。
# 
# なお、リクエストの度にメモリリークとかいろいろで子プロセスは太る傾向にあるから、ある
# 程度リクエスト流して、MaxRequestsPerChildの上限近いプロセスで計算する必要があるみた
# い。
# 
# DSASチームのとてもありがたい下の方にMySQLのInnoDB周りのメモリ設定用ツールがあるんだ
# けど、ホントはこんな感じのがあるといいけど、いまどきApacheだけに限定するのもキモいの
# でそういうのはやめた。


# やってみた
# vi none_shared_memory_fetcher.pl
#
# chmod +x none_shared_memory_fetcher.pl
# ./none_shared_memory_fetcher.pl `pgrep httpd` | head
# [root@ham1 apache]# ./none_shared_memory_fetcher.pl `pgrep httpd` | head
# PID     RSS     SHARED  NONE_SHARED
# 11562   9796    8204 (83%)      1592
# 12816   9908    8292 (83%)      1616
# 12817   9916    8296 (83%)      1620
# 13591   9796    8188 (83%)      1608
# 13841   9816    8204 (83%)      1612
# 13958   9820    8212 (83%)      1608
# 14032   9808    8224 (83%)      1584
# 15380   9880    8260 (83%)      1620
# 15679   9880    8276 (83%)      1604
# [root@ham1 apache]#
# [root@ham1 apache]# ./memory_size.sh `pgrep httpd`
# PID     RSS     (peak)  VM      (peak)
# 11562   9788    (9812)  260064  (260088)
# 12816   9784    (9808)  260064  (260088)
# 12817   9820    (9844)  260064  (260088)
# 13591   9788    (9812)  260064  (260088)
# 13841   9784    (9808)  260064  (260088)
# 13958   9888    (9912)  260064  (260088)
# 14032   9832    (9856)  260064  (260088)
# 15380   9788    (9812)  260064  (260088)
# 15679   9788    (9812)  260064  (260088)
# 31681   11356   (11356) 256564  (256616)
# [root@ham1 apache]# for p in `pgrep httpd`; do grep "^VmHWM:" /proc/$p/status |awk '{print $2}'; done

# これを最大のデータを渡した時の状況を見てテストするといける

proc_meminfo.sh

proc_meminfo.sh

# !/bin/sh

zbxHOSTNAME="$1"
zbxSERVER="$2"

TEMPFILE="/tmp/zbxTMP$$"

cat /proc/meminfo |while read LINE
do ARTICLE=`echo $LINE |cut -d":" -f1 | tr "()" "_"`
    ITEMNUM=`echo $LINE|cut -d":" -f2|sed -e "s/ kB/ * 1024/" |bc`
    echo `date '+%Y/%m/%d %H:%M:%S.%N'` `hostname` "$ARTICLE $ITEMNUM"
# done >$TEMPFILE
done

LANG=C;
(
    awk '
BEGIN
 { printf "\"DATE\",\"TIME\""}
 {printf ",\"%s(%s)\"",$1,$3}
END
{printf "\n"}' /proc/meminfo > meminfo.csv
); while true;
do ( awk 'BEGIN{ printf strftime("%Y/%m/%d, %H:%M:%S") } {printf ",%d",$2} END{printf "\n"}' /proc/meminfo >> meminfo.csv );sleep 1; done

proc_stat.sh

proc_stat.sh

# !/bin/bash
while [ true ]
do
   sleep 1
   echo `date '+%Y/%m/%d %H:%M:%S.%N'` `hostname` `head -1 /proc/stat`
done