FluentdでEC2からS3へログを転送

これは何

FluentdでEC2からS3へログを転送したので、設定ファイルの書き方など書き残しました。

要件
Amazon Linux 2
td-agent4
old stableだし、3でもよかったけど、なんとなく4を選択

他にこの件で書かれている方がすでにいらっしゃって、参考にさせていただきました。
自分はハマったポイントが何点かあったので、そちらも含めてまとめます。

・S3 credentials
・configファイル設定で、もともとあるmatch directiveを削除しなければならなかった。

やってみた

S3 credentials用意

/// S3 credentials用意
IAMロール設定。EC2へアタッチ。
という方法だと、credentialsのエラーが出て進まなかったので、AmazonS3FullAccessを与えたIAMユーザーのAccess key,Secret keyを利用。

httpd install

yum install httpd
systemctl start httpd

Fluentd install

/// Fluentd install
$ curl -L https://toolbelt.treasuredata.com/sh/install-amazon2-td-agent4.sh | sh

Installed:
  td-agent.x86_64 0:4.2.0-1.amzn2

Complete!

Installation completed. Happy Logging!
↑どうでもいいですが、このノリ好きです

一応バックアップ

/// 一応バックアップ(後々ハマったので、しておいてよかったです)

cd /etc/td-agent/
cp td-agent.conf td-agent.conf.org

関連プラグインのインストール

///関連プラグインのインストール

/usr/sbin/td-agent-gem install fluent-plugin-s3
/usr/sbin/td-agent-gem install fluent-plugin-forest
/usr/sbin/td-agent-gem install fluent-plugin-ec2-metadata

権限変更

/// 権限変更
cd /var/log/
chmod 750 httpd/
chown  root.td-agent  httpd/
ls -ld httpd/

chmod  640 messages
chown  root.td-agent  messages
ls -ld messages

設定ファイルの編集

/// 設定ファイルの編集
vi /etc/td-agent/td-agent.conf

/match
で、該当の行を消去

最下行に以下追記
<source>
  @type tail
  path /var/log/messages
  tag td.messages.access
  pos_file /var/log/td-agent/messages.pos
  format syslog
</source>

<match td.messages.access>
  @type s3
  aws_key_id 
  aws_sec_key 
  s3_bucket バケットの名前
  s3_region ap-northeast-1（利用リージョンに合わせて、任意）
  time_slice_format %Y%m%d%H%M
</match>
  <buffer>
    @type file
    path /var/log/td-agent/s3
    timekey 3600  # 1 hour
    timekey_wait 10m
    chunk_limit_size 256m
  </buffer>

実行ユーザーをrootにする

/// 実行ユーザーをrootにする

vi /usr/lib/systemd/system/td-agent.service

[Service]
User=td-agent
Group=td-agent

↓変更

[Service]
User=root
Group=root

restart

/// 再起動

sudo systemctl restart td-agent.service

test

/// test

logger test

or

ab -n 100 -c 10 http://localhost/

転送成功

参考

https://github.com/fluent/fluent-plugin-s3/issues/362
https://stackoverflow.com/questions/67365930/failed-to-flush-the-buffer-fluentd
https://teratail.com/questions/288682
https://docs.fluentd.org/how-to-guides/apache-to-s3
https://techgekka.hateblo.jp/entry/2016/11/08/195406
https://www.tweeeety.blog/entry/20131211/1386728410
https://dev.classmethod.jp/articles/fluentd-s3/
https://stackoverflow.com/questions/33182868/fluentd-s3-output-plugin-configuration
https://qiita.com/xishan/items/81736cb504b7b1ddf59a
https://qiita.com/y-araki-qiita/items/de6638ec7d32d09017c5
https://qiita.com/katuemon/items/7105c24271c07ce7b412
https://qiita.com/VTRyo/items/a4695aeec4fec8220fbb

参考にさせていただきました。ありがとうございます。