| 要素 |
名称 |
説明 |
| ディレクティブ |
-
設定ファイル内でパラメータの集合をまとめる要素です。
-
設定ファイルの書式上の構造をディレクティブと呼びますが、設定ファイルが実際に与えられて解析 (Parse) された後に残る構造はセクションと呼びます。
-
セクションは、パラメータ名と値のペアの集合を持つ構造です。
-
<system> や <match *.*> のような開きタグと、</system> や </match *.*> のような閉じタグで囲まれる構造でパラメータの集合を定義します。
-
設定ファイルは、これらのディレクティブの集まりとして定義されます。
|
|
<system> ディレクティブ |
-
Fluentd のシステム設定、すなわち Fluentd 自身の挙動を設定するディレクティブです。設定ファイル内で設定できる
<system> ディレクティブは１つのみです。
-
<system> ディレクティブは設定ファイルのトップレベル、すなわち他のディレクティブに囲まれない場所に記述します。
設定されなかったパラメータの値は既定値が適用されます。既定値が存在しないシステム設定パラメータを設定ファイル内で指定しない場合、Fluentd を動かしているシステム (OS 等) における既定の動作が適用されます。
-
<system> ディレクティブを設定ファイル内に書かなかった場合、全てのパラメータが既定値、もしくはシステムの既定の動作となります。
|
|
<source> ディレクティブ |
-
イベントを Fluentd に取り込むための Input プラグインを設定します。
|
|
<label> ディレクティブ |
-
@label パラメータでラベルを付けて流されたイベントをルーティングして処理します。
-
<label> ディレクティブ内には、直にパラメータを書かず、ルーティングされたイベントを処理するための <filter> ディレクティブと <match> ディレクティブを記述します。
-
引数を指定する必要があり、例えば、
<label @my_label_name.*>...</label> のように設定します。
|
|
<filter> ディレクティブ |
-
Fluentd に取り込まれたイベントを処理する Filter プラグインを設定します。
-
<filter> ディレクティブは設定ファイルのトップレベルか、<label> ディレクティブの内側に記述します。
-
引数を指定する必要があり、Output プラグインが処理するイベントをタグのパターンを用いて記述します。例えば、
<filter my_log.*>...</filter> のように設定します。
-
<filter> ディレクティブでは、処理したイベントを再び Fluentd 内に流します。そのため後続の別の <filter> ディレクティブが存在すれば、この後続の <filter> ディレクティブにも渡ります。
|
|
<match> ディレクティブ |
-
Fluentd 内に取り込まれたイベントを処理する Output プラグインを設定するためのディレクティブです。
-
<match> ディレクティブは設定ファイルのトップレベルか、<label> ディレクティブの内側に記述します。
-
引数を指定する必要があり、Output プラグインが処理するイベントをタグのパターンを用いて記述します。例えば、
<match my_service.*>...</match> のように設定します。
-
設定対象の Output プラグインは、ディレクティブ内において、
@type パラメータで指定します。
-
何処かの
<match> セクション (設定値を与えられたディレクティブ) に一致して処理されたイベントは、その他の <match> セクションには届きません。
|
|
<config> ディレクティブ |
-
in_config_expander, out_config_expander, filter_config_expander プラグインの内側でのみ利用できます。
-
<config> セクションには、実際の Input/Filter/Output プラグインの設定を書くことができます。
|
|
<parse> ディレクティブ |
-
Parse プラグインの独自のパラメータを使用する場合に利用します。
|
|
<exclude> ディレクティブ |
-
基本的には通過させるが、特手の条件に合うイベントは取り除きたい場合に利用します。ここで指定した正規表現にマッチするイベントは除去されます。
|
|
<format> ディレクティブ |
-
Formatter プラグインの独自のパラメータを使用する場合に利用します。
日時や時刻をとのような書式で表現するかに関するパラメータは、Parser プラグインの場合とほとんど共通です。
-
|
|
<record> ディレクティブ |
-
filter_record_transformer プラグインの独自のパラメータを使用する場合に利用します。
-
NEW_FIELD) と新しい値 (例: NEW_VALUE) のペアと見なされます。
<record>
NEW_FIELD NEW_VALUE
</record>
|
|
<buffer> ディレクティブ |
-
Output プラグインにおけるバッファリング動作の設定できます。
|
| プラグイン |
-
Fluentd ではプラグイン機構が採用されており、データの入力 (Input) と出力 (Output) は全てプラグインで対応します。
-
Fluentd に付属している『組み込みプラグイン』や、第三者やユーザー自身が開発したプラグインの何れも利用可能です。
|
|
in_config_expander プラグイン |
-
元 Treasure Data 社 (Fluentd 開発ベンダー) のエンジニアである田籠 聡氏により開発された fluent-plugin-config-expander (GitHub - tagomoris/fluent-plugin-config-expander) に含まれる Input プラグインです。
-
fluent-plugin-config-expander は Fluentd (td-agent) の MSI インストーラや Docker イメージには含まれていません。
-
Windows OS の場合のインストール方法は、Td-agent Command Prompt を起動し、下記の
td-agent-gem コマンドを利用します。--version=?.?.? オプションを利用することでプラグインのバージョンを指定することができますが、このオプションを利用しない場合は最新版がインストールされます。
C:\opt\td-agent> td-agent-gem install fluent-plugin-config-expander
Fetching fluent-plugin-config-expander-1.0.1.gem
Successfully installed fluent-plugin-config-expander-1.0.1
Parsing documentation for fluent-plugin-config-expander-1.0.1
Installing ri documentation for fluent-plugin-config-expander-1.0.1
Done installing documentation for fluent-plugin-config-expander after 1 seconds
1 gem installed
-
Fluentd コンテナへのインストールは、例えば Fluentd の Dockerfile で
&& gem install fluent-plugin-config-expander \ 行を追加することで実現します。設定例として、こちら の記事なども参照ください。
-
ループ コントロールのための特別なディレクティブなどを利用することができるようになります。
-
<config> ディレクティブの内部で、次の組み込みプレースホルダーを利用することができます。
-
ホスト名:
__HOSTNAME__ や ${HOSTNAME}
|
|
in_tail プラグイン |
-
テキストファイルに追記されていく行を継続的に読み込みます。Linux などで利用できる
tail -F コマンドと挙動が似ています。
-
一度読み込んだ行を重複して読み込まない仕組みがあります。
-
Fluentd が再起動された際に、再起動前の最後の位置から読み込みを再開させることが可能です。この読み込み位置は
pos_file パラメータで指定された位置ファイルに記録されます。
|
|
in_forward プラグイン |
-
in/out_forward プラグインには、データの受信／送信を安全に実施するするための多くのオプション機能が存在します。
-
データの送受信にはデフォルトで TCP のポート 24224 が使用されます。
|
|
out_forward プラグイン |
|
out_copy プラグイン |
-
複数の Output プラグインにイベントを渡します。
|
|
out_elasticsearch プラグイン |
-
データを Elasticsearch に送信します。
-
このプラグインは規定では Fluentd にインストールされていません。
-
v3.3.2 以降、
host パラメータはビルトインのプレースホルダをサポートしています。
-
URL エンコード文字 (例:
!, #, $, %, &, +, @, etc.) のエスケープ処理には %{} スペースホルダーを利用します。
|
|
filter_grep プラグイン |
-
一部のデータのみを選別する、あるいは一部のデータのみを除去する際に利用されます。
|
|
filter_parser プラグイン |
-
未解析データを含んだレコードを解析し、より意味のあるレコードに更新します。レコード内の文字列を解析し、結果を新しいレコードとして後続の Filter プラグインまたは Output プラグインに渡します。
-
Fluentd が扱うデータは常にタグ、タイムスタンプ、レコードが付けられます。レコードはキーと値のペアのリストとして各データに意味のある名前が付けられるという前提があります。しかし現実には、データ収集時にそのままでは解析できず、一先ずはログの一行を１つの文字列としてでも入力したい場合があります。このような場合に
filter_parser プラグインが利用されます。
|
|
filter_stdout プラグイン |
-
Fluentd 内のイベントを標準出力 (デーモンとして起動した場合はログ) に出力します。このフィルタプラグインはデバッグのために有用です。
|
|
filter_record_transformer プラグイン |
-
独自のルールや Ruby 言語を用いて、
filter_parser プラグインよりも更に複雑な処理を実現します。
-
レコードの編集に
Parser プラグインを利用せず、独自のルールを設定ファイルに記述するため、より自由度が高い方法になります。
|
|
parser_none プラグイン |
-
ログの書式が不明で正規表現の記述が難しい場合でも、行全体を１つの文字列としてそのまま取り込むことができます。データの収集と保存のみが目的であれば、このような記述でも問題ありません。
|
|
parse_regexp プラグイン |
-
<parse> セクション内で @type パラメータで指定し、expression パラメータで解析対象の文字列のパターンをしてします。
|
|
formatter_single_value プラグイン |
-
レコード全体ではなく単一のフィールドの値を出力します。
|
|
buf_file プラグイン |
-
データを、Fluentd が動作しているサーバーのファイルシステム上に、ファイルとしてバッファ (一時的に保管) します。バッファチャンク単位でファイルが作成されます。
-
一度保存されたバッファチャンクは出力に成功するまで消去されません。したがって、Fluentd プロセスがふいにクラッシュする等の事象が発生してもバッファチャンクのファイルにデータが保存されているという点で、信頼性が求められる構成においては利用が推奨されるプラグインです。
|
| パラメータ |
-
設定ファイル (
*.conf) の中で名前と値の組み合わせを定義する要素です。この値は型を持ちます。
|
|
@type パラメータ |
-
<source>/<filter>/<match> ディレクティブの予約語パラメータです。
-
指定のディレクティブで使用するプラグインを指定する必須パラメータです。
|
|
@id パラメータ |
-
指定のディレクトリでのプラグイン設定に ID を付与するパラメータです。このプラグイン ID は設定ファイル内で一意である必要があり、同じプラグイン ID を重複して付与することはできません。
-
@id パラメータは必須パラメータではありませんが、設定ファイルの可読性の向上やトラブルシュート時の調査への寄与の面から、全ての <source>/<filter>/<match> ディレクティブに指定することが推奨されます。
-
パラメータ型: string
-
既定値: 機械的に生成されたランダムな文字列
|
|
@label パラメータ |
-
基本的には
<source> ディレクティブで有効なパラメータです。
-
プラグインから生成されたイベントを、特定の
<label> ディレクティブに向けて流すためにラベル名を指定します。
-
パラメータ型:
@で始まるstring
-
既定値: 無し
|
|
tag パラメータ |
-
in_tail プラグインで取得したデータのタグを指定します。
-
in_tail プラグインを用いる場合は必須パラメータです。
|
|
process パラメータ |
-
Fluentd プロセスの名前を指定します。
-
パラメータ型: string
-
既定値: 無し
|
|
workers パラメータ |
-
処理を担当するワーカー数を指定します。ワーカー数に「
2」以上の値を指定した場合の動作を、複数ワーカーと呼びます。
-
パラメータ型: integer
-
既定値:
1
|
|
log_level パラメータ |
-
Fluentd 全体のログレベルを指定します。
-
パラメータ型: enum={
trace, debug, info, warn, error, fatal}
-
既定値:
info
|
|
suppress_config_dump パラメータ |
-
true を設定した場合、Fluentd 起動直後のログへの設定ダンプ出力を行いません。
-
パラメータ型: bool
-
既定値:
false
|
|
pos_file パラメータ |
-
tail しているログファイルの何処までを tail したかという位置情報をファイルに保存する場合、そのファイルパスを記述します。
-
規定値: 無し
|
|
read_from_head パラメータ |
-
Fluentd v1.14.3 より既定で
true となっています。
-
true の場合、ファイルの先頭または pos_file に記録された最後の読み込み位置からログを読み始めます。
|
| ラベル |
|
|
@FLUENT_LOG ラベル |
-
このラベルを処理する
<label @FLUENT_LOG> セクションを指定した場合、Fluentd 自身のログがこのラベルに流れ、プラグインを使って処理できます。
-
Fluentd 自身のログは、
fluent.info 等のように fluent.接頭辞 (prefix) にログレベルが付いたタグで流されます。
|
