pbzip2 のインストール（と速度比較メモ）

インストール

$ wget -q https://launchpad.net/pbzip2/1.1/1.1.13/+download/pbzip2-1.1.13.tar.gz
$ tar zxf pbzip2-1.1.13.tar.gz
$ cd pbzip2-1.1.13
$ make
$ mv pbzip2 ../../bin
$ mv pbzip2.1 ../../share/man/man1/

pigz に関しては、こっち

速度比較

対象 19G

$ ls -lh test/
合計 17G
-rwxr-xr-x 1 bunzaemon wheel 8.4G  3月 24 17:56 XXXX_R1_001.fastq
-rwxr-xr-x 1 bunzaemon wheel 8.4G  3月 24 17:57 XXXX_R2_001.fastq

圧縮

gzip

$ time tar -czf test1.tar.gz test

real    25m7.279s
user    25m0.571s
sys     0m28.705s

pigz

$ time tar -cf test2.tar.gz test  --use-compress-program=pigz

real    1m44.431s
user    27m29.231s
sys     0m17.186s

bzip2

$ time tar -cjf test1.tar.bz2 test

real    31m58.804s
user    31m39.180s
sys     0m23.891s

pbzip2

$ time tar -cf test.tar.bz2 test  --use-compress-program=pbzip2

real    2m8.139s
user    33m11.678s
sys     0m52.146s

解凍

gzip

$ time tar xzf test1.tar.gz

real    2m16.619s
user    2m12.263s
sys     0m19.514s

pigz

$ time tar -xf test2.tar.gz test  --use-compress-program=pigz

real    1m6.249s
user    1m25.253s
sys     0m22.869s

bzip2

$ time tar xjf test1.tar.bz2

real    11m29.571s
user    11m21.948s
sys     0m33.843s

pbzip2

$ time tar -xf test2.tar.bz2 --use-compress-program=pbzip2

real    1m7.773s
user    13m25.331s
sys     0m51.292s

ファイルサイズ

$ ls -lh *tar*
-rw-r--r-- 1 bunzaemon wheel 3.7G  3月 24 18:08 2016 test1.tar.bz2
-rw-r--r-- 1 bunzaemon wheel 5.1G  3月 24 19:26 2016 test1.tar.gz
-rw-r--r-- 1 bunzaemon wheel 3.7G  3月 24 19:35 2016 test2.tar.bz2
-rw-r--r-- 1 bunzaemon wheel 5.1G  3月 24 19:32 2016 test2.tar.gz