内容

gzip、bzip2、xz のマルチコア版について試して実行速度などを見てみた。

CPU:Intel(R) Core i7-12700F 
OS:Ubuntu 22.04.4(WSL)
メモリ：32GB

論理プロセッサー数

 grep processor /proc/cpuinfo | wc -l
20

コア数20相当

バイナリファイルに対する圧縮と展開について

391Mib のバイナリファルに対して実験を行った。
圧縮オプションは、一番圧縮率が高いものを選択した。
それぞれのコマンドオプションは、以下としている。
xz はコマンド自体がマルチコア対応しているので、オプション変更で実験をした。

コマンド	圧縮にかかる時間	展開にかかる時間	圧縮率
gzip	18s	1.2s	9.64%
bzip2	21s	3.2s	7.88%
xz	1m21s	1.59s	5.08%

xz の圧縮率は高いものの、圧縮にかかる時間が長い。
xz について、展開時間は速い。ファイルが小さくなっているためにIO処理は少ないことが影響しているかもしれない。

コマンド	圧縮にかかる時間	展開にかかる時間	圧縮率
pigz	1.09s	0.65s	9.64%
pbzip2	2.65s	0.42s	7.88%
xz -T0	7.1s	1.67s	5.54%

マルチコアでも圧縮率はほぼ変わらないが、少し落ちているところもある。
topコマンドで確認をしたが、20コアで処理がされており、マルチコア版での圧縮速度の向上率から言えば、
xz(19.9倍)>pigz(16.5倍)>pbzip2(7.92倍) であった。

実用を考えると、pbzip2 が時間、圧縮率のバランスがよいのではないかという考えもある。

303MiB のJSONファイルを対象に行った。

コマンド	圧縮にかかる時間	展開にかかる時間	圧縮率
gzip	4.48s	0.965s	10.37%
bzip2	28s	4.608s	8.29%
xz	1m3s	1.51s	6.90%

コマンド	圧縮にかかる時間	展開にかかる時間	圧縮率
pigz	0.354s	0.607s	10.34%
pbzip2	4.65s	0.746s	8.29%
xz -T0	9.4s	1.658s	7.90%

こちらも圧縮率にはほぼ変化がないが、xzはマルチコア実行したときの方が若干悪くなっている。
bzip2 について、圧縮にかかる時間がgzipよりもかかっているが、バイナリのときよりもテキストファイルを対象にした方が差が開いている。

マルチコア版での圧縮速度の向上率から言えば、
xz(13倍)>pigz(12.7倍)>pbzip2(6.02倍) であった。
2～3%の圧縮率の差を気にしないならば、pigz が速い。

pbzip2 について -pオプションで利用するコア数を明示的に指定した。
対象は、303MiB のJSONファイルとした。

コア数	圧縮にかかる時間	展開にかかる時間	コア1からの時間比
1	29.3s	4.88s	1
2	14.2s	2.039s	1/2.1
3	9.609s	1.360s	1/3.0
4	7.420s	1.039s	1/4.0
5	6.90s	1.193s	1/4.2
10	4.764s	0.807s	1/6.2
15	5.027s	0.765s	1/5.8
20	4.92s	0.791s	1/6.0

なお、圧縮結果のバイト数はどれでも同じであった。
コア数が4まではほぼ線形で圧縮にかかる時間は短くなっているが、10を超えるとコア数を増やしても時間は短くなっていない

マルチコア環境で、大きなファイルを圧縮したい場合には、pigz などマルチコア対応のコマンドを使おう。