概要

fluentd でEC2で動いているアプリケーションのログをGUI上で監視したいと思いました。
そのため、 CloudWatchLog に投げ、GUI上でログを見れるようにしていきます。

IAMロールの作成

IAMでロールを作成します。
今回はCloudWatchにフルアクセスできるロールを新規に作成しました。

これをEC2にアタッチします。
アクション>インスタンスの設定からIAMロールの割当を行ってください。

IAMの設定は以上で完了です。

導入

まずは公式サイトに沿って導入します。

$ curl -L https://toolbelt.treasuredata.com/sh/install-amazon2-td-agent3.sh | sh

次にCloudWatchに投げたいので、プラグインを導入します。

プラグインは fluent-plugin-cloudwatch-logsを使います。

$ td-agent-gem install fluent-plugin-cloudwatch-logs

次にApacheをインストールします。
fluentdがアクセスできるように、ログディレクトリの権限変更も行います。

$ yum install -y httpd
$ chmod 777 -R /var/log/httpd

以上で導入は完了です。

設定

設定は /etc/td-agent/td-agent.conf に記載します。

今回はテストとして、Apacheのログをターゲットにします。

/etc/td-agent/td-agent.conf


# アクセスログ
<source>
  @type tail
  format apache
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/httpd.access.log.pos
  tag td.apache.access
</source>

# logsへログを転送
<match td.apache.**>
  @type cloudwatch_logs
  region ap-northeast-1
  log_group_name apache
  auto_create_stream true
  use_tag_as_stream true
</match>

これで設定はOKです。

では早速動かしてみます。

$ systemctl start td-agent

これで起動したので、ログを吐き出してみます。

$ curl -vvv http://127.0.0.1

するとCloudWatchのapacheロググループに、td.apache.accessというログストリームができ、Apacheのアクセスログがあることが確認できると思います。

個人的に詰まったポイント

AWSアカウントを読み込まない

プラグインでAWSアカウントが必要なので、設定しようとしましたが、苦戦しました。

最初はrootユーザのenvに設定しましたが読み込まず、設定ファイルにアカウントのキーとシークレットキーを記載して動かしました。
(FYI EC2のログをfluentdでCloudWatchに投げる - juve534のブログ)

最終的には「AWS的にはロールで管理した方が良い」というアドバイスを受け、EC2にロールを設定することで解決としました。

ログストリーム名が動的にならない

ログストリーム名をタグ名にしようと設定ファイルに、 log_stream_name {$tag} と設定しましたが、 {$tag} というストリーム名になってしました。

こちらはプラグインのREADMEを見直し、 use_tag_as_stream という設定値を見つけたので、これを設定して解決しました。

まとめ

EC2のログをCloudWatchに投げることができました。

fluentdを使うことで、サーバにsshしなくても、ログを確認できるようになりました。
自分の詰まったポイントと合わせ、参考になれば幸いです。

以上、最後まで読んでいただきありがとうございました。