fluentd->flumeのログの転送で欠損が発生するかの検証メモ

fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモ

fluentd->fluentdのときは、ログの欠損が発生しないのはこの記事から確認できましたが、fluent-plugin-flume使って、Flumeに転送した時どうなるのか気になったので、前述のページと同じ手順で試してみました。

td-agent.conf

<source>
  @type forward
</source>
<match log.test>
  @type flume
  host localhost
  port 4141
</match>

結論としては、ログの欠損は発生しませんでした。

td-agentのログをみると

td-agent.log

2016-08-24 19:09:15 +0900 [warn]: temporarily failed to flush the buffer. next_retry=2016-08-24 19:10:25 +0900 error_class="Thrift::TransportException" error="Could not connect to localhost:4141: Connection refused - connect(2) for [::1]:4141" plugin_id="object:3ff3c1630e58"
  2016-08-24 19:09:15 +0900 [warn]: suppressed same stacktrace
2016-08-24 19:10:25 +0900 [warn]: retry succeeded. plugin_id="object:3ff3c1630e58"

とあるように、受信側のFlumeのダウンを検知できておりましたので、require_ack_responseをtrueに設定した場合と同様の挙動になっておりと思われます。