Background
ListenSyslog, ListenTCP, and ListenUDPの仕組み
概要図
一つ Listening 系のprocessorが実行し始めると、独立な thread は起動され、 incoming network connectionsをListenする.
あるconnectionが入ったら、もう一つthreadが立ち上げられ、Connectionからデータを読み込む。我々はこれを channel readerと呼ぶ (最初の original thread は引き続き additional connectionsを監視).
Channel readerはなる早で connectionからデータを読み込む, そして受け取ったすべてのMessageをblocking queueに保存。
該当Blocking queueはProcessorに共有される。
毎回processor実行時、該当 queueから一つあるいは複数 messagesを取得し、 flow fileに書き込む。
ここで、２つ競合Activityが発生：
-
1)Data ProducerはSocket Bufferにデータを書き込む。同時に、Channel Readerは該当Socket Bufferのデータを読み込む。 もし、外部Data ProducerからSocket Bufferへの書き込む速度がNiFiの読み込み速度を越えたら、incoming data が紛失の可能性がある
-
2)channel readerはデータを message queueに保存し、processorが同時に messages queueからMessageを取得. もしmessages保存の速度がProcessorの読み込み速度より速い場合、Message Queueはだんだん最大キャパシティに達する、これで channel reader がブロック状態になり、 queueの中のSpaceを待つ. channel reader が blocking状態ですと、 connectionから読まないで、 socket bufferはだんだんいっぱいになり、データが紛失の可能性がある