@sitaramchowdary (シタラムウンナン)posted at 2021-10-04

Fluentdのunmatched＿lines

Q&A

Fluentd Elasticsearch Kibana Logstash fluentd-parser

fluentdでparserはどうやって選択されますか？

私はfluentdを始めたばっかりです。ドキュメントを参考にしていますけど、Parserの選択の情報は詳しくありません。

私はTailプラグインをやっています。
Fluentdのconfigurationを変更しました。「fluentd/etc/fluent.conf」パスです。

configurationを変更した後に、fluentdをランするとエラーが表示されます。
「fluentd -c fluentd/etc/fluent.conf」ーーー　コマンド

unmatched＿linesというエラーがあります。

パス　/home/file.logにはこのデータがあります。

ドキュメントにはもし、ログはstringの場合はformat　none　を選択してくださいと書いてありますけど、どうしてこのエラーが発生しているかなと考えています。
「https://docs.fluentd.org/parser/none」

そのエラーはどうやって解決しますか。
教えてください。

0 likes

1Answer

@uasi posted at 2021-10-04

<parse>
  @type none
  unmatched_lines
</parse>

この unmatched_lines はエラーではありません。ログを parse するとき、行がフォーマットにマッチしなかったら、その行を無視することを表しています。しかし、 none フォーマットはどんな行でもマッチするので、 unmatched_lines に意味はありません。気にしなくて大丈夫です。

syslog フォーマットなどを使うときは unmatched_lines true に設定すると便利なことがあります。その場合、フォーマットにマッチしなかった行があると {"unmatched_line": マッチしなかった行 } が emit されます。

0Like

Comments

@sitaramchowdary
Questioner
ご返事ありがとうございます。
matchにあるfluentd＿testing１のファイルには出力が何もないです。
Bufferログだけ見えます。
実はmatchにあるファイルに出力が見えるそうですね。

出力がありませんので、エラーと思いました。
出力はどのパスから確認できますか？
教えてください。
@uasi
出力のファイルはすぐには作られません。まずログは buffer に書き込まれます。その後、一定の時間が経つと出力のファイルが作られます。

出力のファイルをすぐに作りたいなら、 buffer section の flush_mode パラメータを immediate に設定してください。
https://docs.fluentd.org/configuration/buffer-section#flushing-parameters

time, timekey パラメータで出力するタイミングを変えることもできます。
https://docs.fluentd.org/configuration/buffer-section#time
@sitaramchowdary
Questioner
@uasi
ありがとうございます。
よく理解できました。

fluentdを開始した後に出力のファイルを削除した場合は、もう一度同じパスにそのファイルが作成していません。
fluentdをrestartするとそのパスを作成できますけど、出力「Buffer」がないです。
あと、sourceのPathファイルの内容を更新すると変更したラインだけ新し出力ファイルに出て来ます。
元々あるファイルその出力が欲しいの場合は、どうしますか？

教えてください。
@uasi
ちょっと分からないのでお答えできません。新しく質問を投稿してみてください。
@uasi
あ、分かりました。 source ファイルの path に拡張子 ".pos" をつけたファイルが作成されていると思います。それを消してください。 .pos は source をどこまで送信したかを記録するファイルです。詳しくは https://docs.fluentd.org/input/tail#how-it-works

Are you sure you want to delete the question?

Fluentdのunmatched＿lines

fluentdでparserはどうやって選択されますか？

1Answer

Comments

Your answer might help someone💌