apacheのアクセスログを解析する為にごにょごにょやってみたときのメモ

やりたいこと

apacheのアクセスログをmongodbに入れて解析をごにょごにょしたい。
今回は元になるapacheのアクセスログを解凍するのにどの方法が一番早いかを検証する

前提条件

apacheの過去ログは.gzで圧縮されていてストレージサーバーに保存されているものとする

ストレージの構成(圧縮されているファイルのディレクトリ構成)

tree

ストレージ/
└── 日付ディレクトリ
    ├── WEB01
    │   └── access_log.gz
    ├── WEB02
    │   └── access_log.gz
    ├── WEB03
    │   └── access_log.gz
    #……これが370台ある

上記で保存されているデータをmongodbに突っ込むのが目的

一台あたりのapacheログの容量

スマホ用270台とガラケー用100台でそれぞれ容量が異なる

# スマホ用
du -m access_log.gz 
34	access_log.gz

# ガラケー用
du -m access_log.gz 

10	access_log.gz

総容量

du -m /path/to/ログストレージ/ | awk '{sum += $1} END {gb = sum / 1024} END {print gb "GB"}'
29.5322GB

おふっ。。。。apacheのログだけで30GBある

実行環境(Amazon EC2)

OS

cat /etc/redhat-release

CentOS release 6.2 (Final)

CPU

cat /proc/cpuinfo 

processor	: 0
vendor_id	: GenuineIntel
cpu family	: 6
model		: 45
model name	: Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
stepping	: 7
cpu MHz		: 1800.001
cache size	: 20480 KB
fpu		: yes
fpu_exception	: yes
cpuid level	: 13
wp		: yes
flags		: fpu de tsc msr pae cx8 cmov pat clflush mmx fxsr sse sse2 ss ht syscall nx lm rep_good unfair_spinlock pni pclmulqdq ssse3 cx16 sse4_1 sse4_2 x2apic popcnt aes hypervisor lahf_lm
bogomips	: 3600.00
clflush size	: 64
cache_alignment	: 64
address sizes	: 46 bits physical, 48 bits virtual
power management:

上記の同様の構成で8コア

メモリ

cat /proc/meminfo
MemTotal:        7130488 kB

# 見づらいので
cat /proc/meminfo |grep MemTotal | awk '{sum= $2} END {mb = expr sum / 1024} END {print mb "MB"}'

6963.37MB

約7GBです。

ログ収集するWEBサーバーの台数

370台

検証

一台のWEBサーバーの解凍にかかる時間を計る

time gzip -dc /path/to/ストレージ/日付/サーバー名/access_log.gz > /path/to/展開先のディレクトリ/raw_log/日付/サーバー名/access_log

real	0m9.531s
user	0m2.408s
sys	0m0.551s

1台あたり10秒(四捨五入)かかる計算なので370台だと

(10 * 370) / 60 = 61.6666666667

約62分(約1時間)かかる計算です

CPU数に応じてパイプ処理をして解凍をしてみた

一番最初一気に370台分の子プロセスを積んでやってみたが
やっぱりパフォーマンスが出なかった

# これで370の子プロセスに一気に積んだ (このコマンドを370回ループさせるshellを書いた)
time gzip -dc /path/to/ストレージ/日付/サーバー名/access_log.gz > /path/to/展開先のディレクトリ/raw_log/日付/サーバー名/access_log &

とある人から「CPU数に応じて子プロセスを作れば並列で一番早くできるんじゃあない？」と言われたので試してみた

# これでCPUの数がだせる
cat /proc/cpuinfo | grep processor | wc | awk '{print $1}'

8

# このコマンドをパイプ処理で8個に連結して(370 /8) = 47回ループさせる
time gzip -dc /path/to/ストレージ/日付/サーバー名/access_log.gz > /path/to/展開先のディレクトリ/raw_log/日付/サーバー名/access_log |

結果

370台のログの解凍にかかった時間

real	32m13.975s
user	12m11.686s
sys	2m32.123s

30分弱で解凍できたが理論上の数字と合わない。。。。

# 理論上ででるスピード
((47 * 10) / 60) = 7.83333333333 分

メモリが多分追っ付かないのでしょう。。。

解凍したファイルの総容量を調べる

du -m /path/to/展開先のディレクトリ/raw_log/ | awk '{sum += $1} END {gb = sum / 1024} END {print gb "GB"}'

207.183GB

一日でapacheのアクセスログだけで207GBあるんですね。。。