入出力が2系統以上あるコマンドを名前付きパイプで繋ぐ

中間ファイルを作らないために

複数のコマンドをパイプで繋ぐのはよくやるけど、

$ command1 | command2

入出力が2つ以上あるコマンドを同じように繋げたい場合はどうしたらいいだろうか？

$ command1 -out1 output1 -out2 output2
$ command2 -in1 output1 -in2 output2

名前付きパイプを使う

mkfifoコマンドを使うと名前付きパイプという特殊ファイルを作成できる。
こちらの記事が分かりやすい：mkfifoコマンドって使ってますか？

いつものパイプでは2プロセス間でストリーム1つ分しかやりとりできないけど、名前付きパイプなら必要な数だけ用意すればいくつでも対応できる。

$ mkfifo fifo1 fifo2
$ command1 -out1 fifo1 -out2 fifo2 &
$ command2 -in1 fifo1 -in2 fifo2
$ rm fifo1 fifo2

デッドロック対策

command1が2つの出力先に交互に出力して、command2も2つの入力を交互に読み込むような、コマンド間で入出力の順番がおおよそ一致している時はうまくいくが、場合によってはデッドロックが発生してしまう。
例えば、command1は交互に出力するけどcommand2がしばらくfifo1の方ばかり読み込むことがある状況では、

1. command1はfifo1とfifo2へ交互に書き込む
2. fifo2にだけデータが溜まっていく
3. fifo2のバッファがいっぱいになる
4. fifo2はcommand1からの書き込みをブロックする
5. 特に対策がなければcommand1はfifo2のバッファが空くのを待つことになる
6. command2がfifo1を空にする
7. command2がいくら待ってもfifo1からデータは流れてこない
8. ＿人人人人人人人人＿
   ＞　デッドロック　＜
   ￣Y^Y^Y^Y^Y^Y^Y￣

みたいなことがある。
パイプのバッファサイズは場合によるが、せいぜい64KiBのようだ¹。

対策としては、間に適当なサイズのバッファを挟むのが楽だと思われる。例えばmbufferコマンドなどがいい感じ。

$ mkfifo fifo1 fifo2
$ command1 -out1 fifo1 -out2 fifo2 &
$ command2 -in1 <(mbuffer -q -i fifo1) -in2 <(mbuffer -q -i fifo2)
$ rm fifo1 fifo2

参考

1. How big is the pipe buffer? - パイプのバッファサイズを確認できるスクリプトの例もある ↩