何か良いアイデアがあれば、連絡いただけると有り難いです

概要

次の調査をしたときの記録.　正確には一行野郎では無いですが..

次のようにアーカイブしたい対象を列挙した input.txt があり、
input.txt に列挙したデータ群を無圧縮でも良いので、できる限り速くアーカイブにしたい.

$ cat input.txt
./.bashrc
./.emacs.d/bookmarks
以下略

その他、条件は以下であった.
・input.txt に列挙したデータの個数は 20万個ほどであった.
・input.txt に列挙したデータの総サイズは 20GB ほどであった.
・input.txt に記したデータ構造(ツリー)でアーカイブにする.
・スクリプトを作って並列化はさせたくは無い (∵ バグ混入を避けるため).

実行

以下、生成されるアーカイブ(約20GB) を output.* という形式にしている.
結果は以下であった.

## 下記だと 12分
$ cat input.txt | zip -0 -ry -@ output.zip &>/dev/null

## 下記だと 36分
$ tar cv -I pigz -f output.gz -T input.txt &>/dev/null
  
## 下記だと 40分経過しても終了せず
$ tar cv -f output.tar -T input.txt &>/dev/null

結論

・平凡そうに見える zip -0 -r が最も速くて意外だった
・データ数や総サイズなどの条件次第で結果は異なる気がする.

参考にしたサイト

URL
https://mickey-happygolucky.hatenablog.com/entry/2018/04/21/011811