fluentdを使ったオブジェクトストレージへのログ転送

こちらを参考にさせていただきました。
ありがとうございました。

fluent-dのインストール

インストールスクリプト1発です。

curl -L http://toolbelt.treasuredata.com/sh/install-redhat.sh | sh

この段階で、fluent-plugin-s3もインストールされてることが確認できます。

# /usr/lib64/fluent/ruby/bin/fluent-gem list | grep s3
fluent-plugin-s3 (0.4.1)

2014/11/21現在ではバージョン0.4.1がインストールされていますが、
このバージョンだとオブジェクトストレージ側のRiakが対応していない(とサポートの方に伺いました）らしいです。
※ 今後は対応されるのかもしれません。

そのため、プラグインをアンインストールし、動作確認がとれているバージョンをインストールし直します。

fluent-plugin-s3の再インストール

バージョン0.4.1をアンインストールします。

/usr/lib64/fluent/ruby/bin/fluent-gem uninstall fluent-plugin-s3

そして、バージョン0.3.4をインストールします。

# /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-s3 --version "= 0.3.4" --no-rdoc --no-ri

その他設定

td-agent.confは参考ページのまま使用させていただきました。
ディレクトリ権限設定も同じにしています。

# mkdir /var/log/fluent
# chown td-agent:td-agent /var/log/fluent
# mkdir /tmp/td-agent
# chown td-agent:td-agent /tmp/td-agent/
# chown root:td-agent /var/log/httpd
# chmod 750 /var/log/httpd/

service td-agent startでtd-agentのプロセスが上がる事を確認したら、もうaccess_logの転送が可能になっています。
簡単ですね。