31
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

fluentd + MongoDB でログサーバー構築

fluentd + MongoDB でログサーバーを作ってみた。モノはここに。

できてみれば設定はシンプルだったんだけどハマるところも多かったのでちょっと書く。

とりあえず以下のルールで設定。

  • ポート 24224 でまちうけ
  • ログは MongoDB の fluentd データベースにつっこむ
    • fluentd で処理対象にするタグは node ではじまるもの
      • Node.js からのログを想定
    • このときに使う MongoDB ユーザーは readWrite ロールの logger ユーザー
      • できるだけ権限を限定する
  • ログ解析するときは dbOwner ロールを持つ fluentd ユーザーを使って MongoDB にもぐる

MongoDB

インストール・設定

epel からインストールもできるけどバージョンが古いので公式の yum リポジトリから取得するのがいい。ここらへんを参照しながらてろてろと。

設定は認証を有効にしただけでほかはデフォルト。そういえば 2.6 から yaml で設定できるって書いてあるんだけど書き方が悪かったのかさっぱり読んでくれなかった。サンプルは古いままだしまぁそのうちなんとかなるでしょということでスルー。

設定を書き換えたら mongod をたちあげる。

管理ユーザー追加

mongod 立ち上げ時に --auth オプションを使ったり、設定ファイルで auth=true を書いておくと認証が有効になる。パフォーマンスとか重視する場合は使わないほうがいいのかもしれないけど、とりあえず認証ありで。

たちあげたあとに真っ先にすることは管理用ユーザーの追加。ユーザー登録なしだとローカルからなら認証なしでもつながるみたいだけどひとりでもユーザーが登録されてると認証を通さないと何もできなくなる。

admin データベースに root ロールを持つ root というユーザーを作る。下記のファイルを用意して mongo admin mongodb-admin.js

mongodb-admin.js
/*
 * Usage
 *  mongo admin mongodb-admin.js
 *
 * A script to add administration user
 * */

var USERNAME = 'root';
var PASSWORD = 'root';

// Check if user is registered
var authed = db.auth(USERNAME, PASSWORD);
if (authed === 1) {
    quit();
}

// Register user
db.createUser({
    user: USERNAME,
    pwd: PASSWORD,
    roles: [
        {
            role: 'root',
            db: 'admin'
        }
    ]
});

これで何かあってもとりあえず mongo -u root -p root --authenticationDatabase admin しとけば設定変更ができるようになる。

fluentd

MongDB にユーザー追加

まず MongoDB にユーザーを追加する。こういうスクリプト書いておくと便利。

fluentd-users-mongodb.js
/*
 * Usage
 *  mongo fluentd fluentd-users-mongodb.js -u root -p root --authenticationDatabase admin
 * */

// User definitions to register
var newUsers = [
    {
        user: 'logger',
        pwd: 'logger',
        roles: [
            {
                role: 'readWrite',
                db: 'fluentd'
            }
        ]
    },
    {
        user: 'fluentd',
        pwd: 'fluentd',
        roles: [
            {
                role: 'dbOwner',
                db: 'fluentd'
            }
        ]
    }
];

// Check if initial settings are done
var currentUsers = db.getUsers();
if (currentUsers.length === newUsers.length) {
    quit();
}

// Drop users for database
db.dropAllUsers();

// Add users
for (var i = 0, length = newUsers.length; i < length; ++i) {
    db.createUser(newUsers[i]);
}

で、こうやって起動する。長いよ。

mongo fluentd fluentd-users-mongodb.js -u root -p root --authenticationDatabase admin

インストール

インストール前に NTP の設定しろだとかファイルディスクリプターの数を増やせだとか TCP 接続数があふれないようにしろだとか。ここらへんのリソースをかなり潤沢に使うもんみたい。

で、 yum つかって RPM からインストール。 yum で全部管理できるほうがありがたい。

設定

全部 /etc/td-agent/td-agent.conf に書く。 include で区切るのはあとで。実際に動く設定はここ。

まずまちうけるポートの設定。

# Listen at the port 24224
<source>
  type forward
  port 24224
</source>

で、処理するデータの指定と MongoDB への書き込みの設定。

# from Node.js
<match node.**>
  type mongo
  host localhost
  port 27017
  database fluentd
  user logger
  password logger

  collection app

  flush_interval 1s
</match>

これで fluentd 起動すればどんどこログを飲み込んでくれる。

動作確認

Node.js 側で fluent-logger-node を使ってテストしてみる。

fluentd-test.js
var logger = require('fluent-logger');
logger.configure('node', {
    host: '192.168.50.120',
    port: 24224,
    timeout: 3.0
});
logger.emit('info', { test: 'test data' });

こんなんつくってこう。

npm install fluent-logger
node fluentd-test.js

ログサーバー側でみてみる。

mongo fluentd -u fluentd -p fluentd --eval 'db.app.find()'
{ "_id" : ObjectId("5402c483dd3aa90a27000001"), "test" : "test data", "time" : ISODate("2014-08-31T06:45:23.046Z") }

なんかきてる !!

考えどころ

MongoDB にはシャーディングという複数台で動くインスタンスをまとめてひとつとして管理できる機能があるらしく、このサーバー上で mongod のかわりに mongos をたちあげて、別ノードのインスタンスを管理する、とかするとビッグデータ的なアレができて夢が広がるかも。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
31
Help us understand the problem. What are the problem?