ページキャッシュについて知らなかった・解放してみたことがなかったのでやってみた時のメモ。
参考
そもそもページキャッシュとは
- CPUはストレージから直接読むことはできない
- 上記より一旦メモリにデータを読み込む必要がある
- メモリに読み込んだデータはそのままページキャッシュとして再利用することで次回以降CPUからは高速に読み書きができる
- キャッシュにはページキャッシュとSlabキャッシュがある
- ページキャッシュは上記のようなディスクの内容を読んだらメモリにキャッシュするというもの
- Slabキャッシュはディレクトリのメタデータ情報を格納するdentryやファイルのメタデータ情報を格納するinode構造体などをキャッシュしているカーネル内のメモリ領域らしい（引用)
ページキャッシュを解放してみる
現在のキャッシュしているサイズを確認します。
$free -m
total used free shared buffers cached
Mem: 995 898 96 0 51 722
-/+ buffers/cache: 124 870
Swap: 0 0 0
現在は722MByteのキャッシュがされているようです。
次に一度ページキャッシュを解放します。
ページキャッシュをするために/proc/sys/vm/drop_cachesに1を指定します。
$sudo sh -c "echo 1 > /proc/sys/vm/drop_caches"
なお、2を指定した場合にはSlabキャッシュの解放、3を指定した場合にはページキャッシュとSlabキャッシュの解放を行います。
話が逸れましたが、キャッシュをクリアできたら再度キャッシュサイズを確認します。
$free -m
total used free shared buffers cached
Mem: 995 119 875 0 0 16
-/+ buffers/cache: 103 892
Swap: 0 0 0
722->17なのでかなりキャッシュが解放されました。
linux-ftoolsのインストール
具体的にどのファイルがキャッシュされているかを確認するためにlinux-ftoolsをインストールします。
# mercurialのインストール
$sudo yum -y install mercurial
# ビルドに必要なパッケージ群のインストール
$sudo yum -y groupinstall "Development Tools"
# linux-ftoolsインストール
$hg clone https://code.google.com/p/linux-ftools/
$cd linux-ftool
自分の環境(AmazonLinux2015.09.01)ではautomakeのバージョンが1.11でなく、1.13だったのでconfigureファイルの一部を変更します。(変更しないと自分はエラーになりました)
$git diff
diff --git a/configure b/configure
index 570dbb3..29c12e4 100755
--- a/configure
+++ b/configure
@@ -2220,7 +2220,7 @@ ac_compiler_gnu=$ac_cv_c_compiler_gnu
-am__api_version='1.11'
+am__api_version='1.13'
変更後、インストールします。
# インストール
$./configure
$make
$sudo make install
# 確認
$linux-fincore --version
linux-fincore: unrecognized option '--version'
fincore version 1.3.0
fincore [options] files...
-s --summarize When comparing multiple files, print a summary report
-p --pages Print pages that are cached
-o --only-cached Only print stats for files that are actually in cache.
-g --graph Print a visual graph of each file's cached page distribution.
-S --min-size Require that each files size be larger than N bytes.
-C --min-cached-size Require that each files cached size be larger than N bytes.
-P --min-perc-cached Require percentage of a file that must be cached.
-h --help Print this message.
-L --vertical Print the output of this script vertically.
linux-fincoreを使ってページキャッシュを確認する
次にlinux-fincoreを使いながら具体的にキャッシュの流れを確認します。
一度、ページキャッシュを解放した状態で/var/log配下で何がキャッシュされているか確認します。
$sudo /usr/local/bin/linux-fincore --pages=false --summarize --only-cached /var/log/*
filename size total_pages min_cached page cached_pages cached_size cached_perc
-------- ---- ----------- --------------- ------------ ----------- -----------
Could not mmap file: /var/log/audit: No such device
/var/log/btmp 3,456 1 0 1 4,096 100.00
/var/log/lastlog 146,292 36 35 1 4,096 2.78
Could not mmap file: /var/log/mail: No such device
/var/log/messages 50,232 13 12 1 4,096 7.69
Could not mmap file: /var/log/ntpstats: No such device
/var/log/secure 9,026 3 1 2 8,192 66.67
/var/log/wtmp 6,144 2 1 1 4,096 50.00
---
total cached size: 24,576
幾つかすでにキャッシュされているファイルもあります。
次にわざと/var/log配下のまだキャッシュされていない状態のファイルを読み込んでキャッシュに入れます。
# /var/logファイルの内容を一度キャッシュに入れる.キャッシュしたいだけなので標準出力は捨てる
$sudo sh -c "find /var/log/* -type f|xargs cat > /dev/null"
# キャッシュされているファイルを再度確認
$sudo /usr/local/bin/linux-fincore --pages=false --summarize --only-cached /var/log/*
filename size total_pages min_cached page cached_pages cached_size cached_perc
-------- ---- ----------- --------------- ------------ ----------- -----------
Could not mmap file: /var/log/audit: No such device
/var/log/btmp 3,456 1 0 1 4,096 100.00
/var/log/cloud-init-output.log 9,332 3 0 3 12,288 100.00
/var/log/cloud-init.log 72,977 18 0 18 73,728 100.00
/var/log/cron 4,053 1 0 1 4,096 100.00
/var/log/dmesg 24,271 6 0 6 24,576 100.00
/var/log/dracut.log 171,068 42 0 42 172,032 100.00
/var/log/lastlog 146,292 36 0 36 147,456 100.00
Could not mmap file: /var/log/mail: No such device
/var/log/maillog 193 1 0 1 4,096 100.00
/var/log/messages 50,232 13 0 13 53,248 100.00
Could not mmap file: /var/log/ntpstats: No such device
/var/log/secure 10,254 3 0 3 12,288 100.00
/var/log/wtmp 6,144 2 0 2 8,192 100.00
/var/log/yum.log 7,954 2 0 2 8,192 100.00
---
total cached size: 524,288
0 0 0
だいぶ増えましたね。
ではこの状態でページキャッシュを解放し、その後キャッシュしているファイルを再度確認します。
# ページキャッシュの解放
$sudo sh -c "echo 1 > /proc/sys/vm/drop_caches"
# /var/log配下のキャッシュの確認
$sudo /usr/local/bin/linux-fincore --pages=false --summarize --only-cached /var/log/*
filename size total_pages min_cached page cached_pages cached_size cached_perc
-------- ---- ----------- --------------- ------------ ----------- -----------
Could not mmap file: /var/log/audit: No such device
Could not mmap file: /var/log/mail: No such device
/var/log/messages 50,314 13 12 1 4,096 7.69
Could not mmap file: /var/log/ntpstats: No such device
/var/log/secure 10,889 3 2 1 4,096 33.33
---
total cached size: 8,192
ページキャッシュ解放によってファイルのキャッシュが消え、キャッシュサイズも少なくなっているのが確認できました。