インプットとアウトプットを指定する形で使用します。
サーバーtoサーバーの用途で利用したり、プラグインなどを活用することで
出力先としてはローカルファイル意外に、AWS S3、Hadoop HDFS、MongoDB、Cassandra
MySQL、PostgreSQL、Redisetcを選ぶことができます。。

ログファイル自体は欠損させると問題になることから、いったんS3などのストレージに貯めて
改めて集計用のデータベースに格納すると言うケースが多いように感じます。

基本的にはログを出力するアプリケーションが稼働しているサーバーに
インストールして稼働させる形になります。

ログの収集のユースケース

アクセスログ、およびアプリケーションログの収集は以下のような手順が考えられます。

1.サーバ上のアプリケーションがログを出力する
2.そのログを各サーバ上に起動してある転送用Fluentdが受け取る
3.Fluentdはネットワーク越しにログ集約用Fluentd(もしくはAWS S3など)
に対して転送する
4.ログ集約用Fluentdは集まってきたログをどこかに書き込む
(file, AWS S3, Hadoop HDFS, MongoDB など)

ざっくりとしたログの転送の仕組みはこうです。

アプリケーション側ではログは非同期でどんどん生成されていきます。
そのため取りこぼしがないように一同に迅速に集約しておく必要があります。

ログファイルの命名規約などを決めておきルールにしたがって
転送をするようにして、転送後は元のサーバーのファイルは消されていきます。

集める際はファイルの種別や日付などでまとめ、検索や取り出し
データベースへの格納などがスムーズに運ぶように整理するようにします。

昔はテープなどでデータをバックアップしたりしていましたが
最近ではクラウドストレージに集約しておくケースも増えています。

まとめ

ゲームやWEB系のサービスではログ解析は必須ですがログ解析をするための準備として
ログを収集する仕組みも不可欠です。

サーバーサイドのエンジニアや、データを取り扱うエンジニアを目指す場合は
データ転送の仕組みを抑えておくと良いでしょう。

君がエンジニアになるまであと12日

作者の情報

乙pyのHP：
http://www.otupy.net/

Youtube：
https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter：
https://twitter.com/otupython