S3のアクセス状況を可視化してみる

きっかけ

先月CloudFrontのアクセス数などはCloudWatchで見れるようになりました。

しかしS3のアクセス状況はそのようなMetricsがなく、ログを解析するしかありません。
アクセス規模が小さくてEMRを持ち出すほど大げさではない場合、lambdaで処理すれば楽に可視化まで持って行けるのではないかと考えました。

実装

lambda2cw
ログファイルがPUTされた時にフックして、ログを解析してCloudWatchのカスタムメトリクスとしてPutMericDataを行います。
想定としては、bucket内のlogs/ から始まるキーがログファイルとなります。

デモ

負荷を発生

適当にabで負荷をかけます。

$ while [ 1 ] ; do ( ab -c 4 -n $(echo $[ $RANDOM % 100 ]) http://lambda2cw.s3-us-west-2.amazonaws.com/index.html & ); sleep 60 ; done

ローカル実行

$ node invoke.js input.json
lambda2cw Started
processing s3://lambda2cw/logs/2014-12-07-20-17-45-0C579438788F858B
20 metrics pushed. 46 left
20 metrics pushed. 26 left
20 metrics pushed. 6 left
6 metrics pushed. 0 left
SUCCESS undefined

lambda上で実行

2014-12-08 06:18:22 UTC 2014-12-08T06:18:22.723Z    6alf80tr75guxrdo    lambda2cw Started 
2014-12-08 06:18:24 UTC START RequestId: 18e0b9ed-7ea2-11e4-bae6-95e15fd35a15 
2014-12-08 06:18:24 UTC 2014-12-08T06:18:24.262Z    18e0b9ed-7ea2-11e4-bae6-95e15fd35a15    processing s3://lambda2cw/logs/2014-12-08-06-18-18-EF79DF76713F7118 
2014-12-08 06:18:25 UTC 2014-12-08T06:18:25.563Z    18e0b9ed-7ea2-11e4-bae6-95e15fd35a15    20 metrics pushed. 38 left 
2014-12-08 06:18:26 UTC 2014-12-08T06:18:26.742Z    18e0b9ed-7ea2-11e4-bae6-95e15fd35a15    20 metrics pushed. 18 left 
2014-12-08 06:18:27 UTC 2014-12-08T06:18:27.903Z    18e0b9ed-7ea2-11e4-bae6-95e15fd35a15    18 metrics pushed. 0 left 
2014-12-08 06:18:27 UTC END RequestId: 18e0b9ed-7ea2-11e4-bae6-95e15fd35a15 
2014-12-08 06:18:27 UTC REPORT RequestId: 18e0b9ed-7ea2-11e4-bae6-95e15fd35a15  Duration: 3798.96 ms    Billed Duration: 3800 ms Memory Size: 128 MB    Max Memory Used: 18 MB  

CloudWatchのグラフを確認