tar コマンドの圧縮オプション比較で tar コマンドでの圧縮オプションの比較を行いましたが、各圧縮コマンドでは圧縮レベルを指定できます。

普段は「速く終わって欲しいから -1」とか「とにかく小さくして欲しいので -9」とかくらいの気分で指定しているのですが、実際のところどれくらい圧縮率と圧縮/展開速度に違いがあるのか試してみました。

実験環境

前回に引き続き FreeBSD 11.4-RELEASE-p4 で実験を行い、対象データは2020年11月1日版のウィキペディア日本語版データベースダンプ(pages-articles)を使用しました。サイズは 13584231059 バイト(13 GiB)です。

各コマンドのバージョンは以下の通りです。

$ gzip -V
FreeBSD gzip 20190107
$ bzip2 -V
bzip2, a block-sorting file compressor.  Version 1.0.8, 13-Jul-2019.

   Copyright (C) 1996-2019 by Julian Seward.

   This program is free software; you can redistribute it and/or modify
   it under the terms set out in the LICENSE file, which is included
   in the bzip2 source distribution.

   This program is distributed in the hope that it will be useful,
   but WITHOUT ANY WARRANTY; without even the implied warranty of
   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
   LICENSE file for more details.

$ xz -V
xz (XZ Utils) 5.2.5
liblzma 5.2.5

実験内容

gzip

$ /usr/bin/time gzip -1 jawiki-latest-pages-articles.xml
      355.36 real       330.50 user        23.22 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  5090855208 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      180.56 real       109.98 user        22.01 sys

$ /usr/bin/time gzip -2 jawiki-latest-pages-articles.xml
      384.12 real       359.09 user        23.45 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4910715932 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      180.67 real       106.66 user        21.53 sys

$ /usr/bin/time gzip -3 jawiki-latest-pages-articles.xml
      445.48 real       421.68 user        22.05 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4757662603 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      177.84 real       105.21 user        20.60 sys

$ /usr/bin/time gzip -4 jawiki-latest-pages-articles.xml
      530.53 real       507.04 user        21.96 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4555013197 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      176.09 real       101.52 user        20.01 sys

$ /usr/bin/time gzip -5 jawiki-latest-pages-articles.xml
      669.78 real       646.16 user        21.93 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4425196667 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      177.01 real        99.00 user        20.09 sys

$ /usr/bin/time gzip -6 jawiki-latest-pages-articles.xml
      850.59 real       827.41 user        21.52 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4366161410 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      174.15 real        97.89 user        20.16 sys

$ /usr/bin/time gzip -7 jawiki-latest-pages-articles.xml
      915.27 real       891.61 user        21.96 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4358354797 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      177.45 real        98.17 user        19.50 sys

$ /usr/bin/time gzip -8 jawiki-latest-pages-articles.xml
      980.19 real       956.30 user        22.14 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4353562879 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      175.12 real        98.04 user        21.08 sys

$ /usr/bin/time gzip -9 jawiki-latest-pages-articles.xml
      986.73 real       963.48 user        21.52 sys
$ ls -l jawiki-latest-pages-articles.xml.gz
-rw-r--r--  1 shigekazu  staff  4353452382 11月 19 06:26 jawiki-latest-pages-articles.xml.gz
$ /usr/bin/time gzip -d jawiki-latest-pages-articles.xml.gz
      176.77 real        98.06 user        19.58 sys

bzip2

$ /usr/bin/time bzip2 -1 jawiki-latest-pages-articles.xml
     1852.66 real      1819.48 user        31.03 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3821671994 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      654.93 real       629.23 user        24.26 sys

$ /usr/bin/time bzip2 -2 jawiki-latest-pages-articles.xml
     1909.93 real      1882.62 user        25.64 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3599052964 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      789.60 real       760.91 user        26.99 sys

$ /usr/bin/time bzip2 -3 jawiki-latest-pages-articles.xml
     2111.15 real      2085.68 user        23.80 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3488798993 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      790.16 real       761.34 user        27.25 sys

$ /usr/bin/time bzip2 -4 jawiki-latest-pages-articles.xml
     2096.57 real      2072.32 user        22.58 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3417182323 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      870.70 real       843.33 user        26.10 sys

$ /usr/bin/time bzip2 -5 jawiki-latest-pages-articles.xml
     2188.89 real      2164.86 user        22.42 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3364498463 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      920.75 real       892.67 user        26.65 sys

$ /usr/bin/time bzip2 -6 jawiki-latest-pages-articles.xml
     2215.03 real      2191.58 user        21.75 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3323241746 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
      973.09 real       944.87 user        26.86 sys

$ /usr/bin/time bzip2 -7 jawiki-latest-pages-articles.xml
     2237.27 real      2213.98 user        21.62 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3288781109 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
     1015.46 real       986.67 user        27.49 sys

$ /usr/bin/time bzip2 -8 jawiki-latest-pages-articles.xml
     2326.10 real      2303.06 user        21.03 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3260033347 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
     1047.87 real      1018.74 user        27.64 sys

$ /usr/bin/time bzip2 -9 jawiki-latest-pages-articles.xml
     2376.22 real      2352.21 user        21.76 sys
$ ls -l jawiki-latest-pages-articles.xml.bz2
-rw-r--r--  1 shigekazu  staff  3235159003 11月 19 06:26 jawiki-latest-pages-articles.xml.bz2
$ /usr/bin/time bzip2 -d jawiki-latest-pages-articles.xml.bz2
     1080.97 real      1052.71 user        26.95 sys

xz

$ /usr/bin/time xz -0 jawiki-latest-pages-articles.xml
     1645.98 real      1613.18 user        30.01 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  4056325252 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      485.17 real       452.28 user        31.24 sys

$ /usr/bin/time xz -1 jawiki-latest-pages-articles.xml
     2358.35 real      2320.87 user        35.58 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  3626872136 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      429.68 real       398.58 user        29.64 sys

$ /usr/bin/time xz -2 jawiki-latest-pages-articles.xml
     3757.15 real      3715.57 user        39.02 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  3448516804 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      410.21 real       379.19 user        29.32 sys

$ /usr/bin/time xz -3 jawiki-latest-pages-articles.xml
     6130.79 real      6086.97 user        40.28 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  3330256732 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      399.45 real       367.28 user        30.85 sys

$ /usr/bin/time xz -4 jawiki-latest-pages-articles.xml
     8759.58 real      8706.89 user        48.18 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  3051961880 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      382.95 real       352.47 user        29.04 sys

$ /usr/bin/time xz -5 jawiki-latest-pages-articles.xml
    12283.70 real     12228.49 user        49.17 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  2835451316 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      361.88 real       331.16 user        29.19 sys

$ /usr/bin/time xz -6 jawiki-latest-pages-articles.xml
    13660.40 real     13604.44 user        49.41 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  2787827176 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      358.19 real       327.56 user        29.30 sys

$ /usr/bin/time xz -7 jawiki-latest-pages-articles.xml
    15521.95 real     15465.83 user        48.68 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  2694548072 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      348.99 real       318.49 user        29.13 sys

$ /usr/bin/time xz -8 jawiki-latest-pages-articles.xml
    17470.23 real     17411.22 user        50.24 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  2608697716 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      343.91 real       311.68 user        28.23 sys

$ /usr/bin/time xz -9 jawiki-latest-pages-articles.xml
    19416.77 real     19357.10 user        50.10 sys
$ ls -l jawiki-latest-pages-articles.xml.xz
-rw-r--r--  1 shigekazu  staff  2530386528 11月 19 06:26 jawiki-latest-pages-articles.xml.xz
$ /usr/bin/time xz -d jawiki-latest-pages-articles.xml.xz
      334.49 real       303.25 user        29.58 sys

まとめと考察

圧縮方法とレベル	圧縮時間(user + sys)	展開時間(user + sys)	圧縮後サイズ	圧縮率
gzip(-1)	353.72 秒	131.99 秒	5090855208 バイト	37.47%
gzip(-2)	382.54 秒	128.19 秒	4910715932 バイト	36.15%
gzip(-3)	443.73 秒	125.81 秒	4757662603 バイト	35.02%
gzip(-4)	529.00 秒	121.53 秒	4555013197 バイト	33.53%
gzip(-5)	668.09 秒	119.09 秒	4425196667 バイト	32.57%
gzip(-6)	848.93 秒	118.05 秒	4366161410 バイト	32.14%
gzip(-7)	913.57 秒	117.67 秒	4358354797 バイト	32.08%
gzip(-8)	978.44 秒	119.12 秒	4353562879 バイト	32.04%
gzip(-9)	985.00 秒	117.64 秒	4353452382 バイト	32.04%
bzip2(-1)	1850.51 秒	653.49 秒	3821671994 バイト	28.13%
bzip2(-2)	1908.26 秒	787.90 秒	3599052964 バイト	26.49%
bzip2(-3)	2109.48 秒	788.59 秒	3488798993 バイト	25.68%
bzip2(-4)	2094.90 秒	869.43 秒	3417182323 バイト	25.15%
bzip2(-5)	2187.28 秒	919.32 秒	3364498463 バイト	24.76%
bzip2(-6)	2213.33 秒	971.73 秒	3323241746 バイト	24.46%
bzip2(-7)	2235.60 秒	1014.16 秒	3288781109 バイト	24.21%
bzip2(-8)	2324.09 秒	1046.38 秒	3260033347 バイト	23.99%
bzip2(-9)	2373.97 秒	1079.66 秒	3235159003 バイト	23.81%
xz(-0)	1643.19 秒	483.52 秒	4056325252 バイト	29.86%
xz(-1)	2356.45 秒	428.22 秒	3626872136 バイト	26.69%
xz(-2)	3754.59 秒	408.51 秒	3448516804 バイト	25.38%
xz(-3)	6127.25 秒	398.13 秒	3330256732 バイト	24.51%
xz(-4)	8755.07 秒	381.51 秒	3051961880 バイト	22.46%
xz(-5)	12277.66 秒	360.35 秒	2835451316 バイト	20.87%
xz(-6)	13653.85 秒	356.86 秒	2787827176 バイト	20.52%
xz(-7)	15514.51 秒	347.62 秒	2694548072 バイト	19.83%
xz(-8)	17461.46 秒	339.91 秒	2608697716 バイト	19.20%
xz(-9)	19407.20 秒	332.83 秒	2530386528 バイト	18.62%

全体の傾向として、

圧縮展開とも最速でそこそこの圧縮率の gzip
圧縮時間そこそこで展開が遅い bzip2
圧縮時間が長大で圧縮率が高い xz
は変わりません。

圧縮率の最大と最低で入れ替わりが頻繁に起こるかなと思ったのですが、bzip2 と xz の一部で起こったくらいでした。

各コマンド共に共通しているのは、圧縮レベルを上げると圧縮時間が単調に増加し、圧縮率は単調に減少していることです。また、圧縮レベルが違うのに圧縮率が同じになることがありませんでしたので、圧縮レベルの指定は実際の挙動にしっかりと影響を与えていました。それなりに大きなファイルを使っての結果ですので、小さなファイルでは圧縮率が同じになってしまうケースもあるかと思われます。

意外だったのは gzip と xz で圧縮レベルをあげるほどに展開時間が短くなっていく傾向があることでした。ファイルサイズが小さくなることでディスク I/O が軽減することと、データサイズが小さくなって CPU キャッシュのヒット率があがることが原因ではないかと想像します。