1. はじめに
Rustのflate2でgzipファイルをデコードして読み込む時には、GzDecoderではなくMultiGzDecoderを使おうという記事。
gzipを開くコードとgzipの構造のざっくりした説明を記事で共有しておく。
Rustのバージョンは1.79.0。
flate2のドキュメントのイントロのそれぞれのstructのページに、
- GzDecoderはファイル内の最初のmemberのみ読み込む
- MultiGzDecoderはファイル内の全てのmemberを読み込む
的なことが書かれていたが、memberが何かわかっておらず、GzDecoderで複数memberを含むgzipファイルをデコードしようとして、失敗していた。（恥ずかしい、、）
そもそもgzipファイルを扱うのにその構造をさっぱりわかっていない、というのが不味かったように思う。調べたついでに記事にした。
2. サンプルコード
こちらのGithubリポジトリからクローン可。
gzipファイルを開いてバッファリングしながらデコードし、標準出力にテキストを書き出すコードを紹介する。
（大きいファイルの読み書きを想定。まずいところ、改善点があれば教えてください。）
use std::fs::File;
use std::io::{stdout, BufRead, BufReader, BufWriter, Write};
use std::error::Error;
use flate2::read::MultiGzDecoder;
// gzipファイルのパスを受け取る。
// ファイルのオープンに失敗した時にはファイル名とエラー内容を表示。
fn open_reading_gzip(filename: &str) -> BufReader<MultiGzDecoder<File>> {
let file = File::open(filename).unwrap_or_else(|err| {
panic!("Cannnot open file '{}', Error: {}", filename, err);
});
let decoder = MultiGzDecoder::new(file);
BufReader::new(decoder)
}
fn main() -> Result<(), Box<dyn Error>> {
// 処理対象のファイルパスを直書きしている。
let filename = "./test-multi.txt.gz";
// 読み込むgzipファイルを開き、バッファリングして読み込むためのBufReaderを準備
let reader = open_reading_gzip(filename);
// バッファリングして標準出力に書き出すためのBufwriterを準備
let out = stdout();
let mut writer = BufWriter::new(out.lock());
// ファイルを行ごとに読み出す。
let mut counter_lines: u64 = 0;
for line in reader.lines() {
counter_lines += 1;
// 行の取り出しに失敗した時にはファイル名、その行が何行目か、エラー内容を表示する。
let line = line.unwrap_or_else(|err|{
panic!("Cannnot reading the {}th line of {}, Error: {}", counter_lines, filename, err);
});
// 標準出力に書き出し
writer.write_all((line + "\n").as_bytes())?;
}
writer.flush()?;
Ok(())
}
3. gzipについて
RFC 1952を読むのが一番早いし間違いないが、読むのが大変。
手元で試せるざっくりしたことだけ書いておく。
3-1. サンプルファイルの作成
サンプルファイルを用意する。
echo -e "11 12\n21 22" > test1.txt
echo -e "31 32\n41 42" > test2.txt
# ２つのテキストファイルを結合した後にgzip圧縮する。
cat test{1,2}.txt | gzip -c > test-single.txt.gz
# ２つのテキストファイルを別々にgzip圧縮した後に、それぞれのgzipファイルを結合する。
gzip -k test{1,2}.txt
cat test{1,2}.txt.gz > test-multi.txt.gz
用意したtest-multi.txt.gzとtest-single.txt.gzは異なるファイルだが、解凍すれば中身は同じ。
- 解凍してテキストを確認
% gzcat test-single.txt.gz # bashの場合はzcat
11 12
21 22
31 32
41 42
% gzcat test-multi.txt.gz # bashの場合はzcat
11 12
21 22
31 32
41 42
- バイナリファイルとして16進数表示で確認
% od -tx1 test-single.txt.gz
0000000 1f 8b 08 00 9d 79 9c 66 00 03 33 34 54 30 34 e2
0000020 32 32 54 30 32 e2 32 36 54 30 36 e2 32 31 54 30
0000040 31 e2 02 00 a3 93 dc 4a 18 00 00 00
0000054
% od -tx1 test-multi.txt.gz
0000000 1f 8b 08 08 8e 5f 9b 66 00 03 74 65 73 74 31 2e
0000020 74 78 74 00 33 34 54 30 34 e2 32 32 54 30 32 e2
0000040 02 00 e8 e0 b9 57 0c 00 00 00 1f 8b 08 08 54 61
# 出力3行目の 0c 00 00 00 までが１つ目のmember。（test1.txt.gzの部分）
# 出力3行目の 1f 8b 08 08 からが２つ目のmember。（test2.txt.gzの部分）
0000060 9b 66 00 03 74 65 73 74 32 2e 74 78 74 00 33 36
0000100 54 30 36 e2 32 31 54 30 31 e2 02 00 5e c9 a0 47
0000120 0c 00 00 00
0000124
# test1.txt.gzとtest2.txt.gzもついでに確認
% od -tx1 test1.txt.gz
0000000 1f 8b 08 08 8e 5f 9b 66 00 03 74 65 73 74 31 2e
0000020 74 78 74 00 33 34 54 30 34 e2 32 32 54 30 32 e2
0000040 02 00 e8 e0 b9 57 0c 00 00 00
0000052
% od -tx1 test2.txt.gz
0000000 1f 8b 08 08 54 61 9b 66 00 03 74 65 73 74 32 2e
0000020 74 78 74 00 33 36 54 30 36 e2 32 31 54 30 31 e2
0000040 02 00 5e c9 a0 47 0c 00 00 00
0000052
→ test1.txt.gzとtest2.txt.gzを繋ぎ合わせると確かにtest-multi.txt.gzになっている
3-2. RFC 1952の記載の確認
- 表記：１つの区切りが1バイトの大きさを表す。
+--------+
| 1バイト |
+--------+
- gzipファイルの構造（「# ・・・」はこの記事用に追記したもの）
# gzipファイルは圧縮されたデータセット"members"が連続する構造になっている。
A gzip file consists of a series of "members" (compressed data
sets). The format of each member is specified in the following
section. The members simply appear one after another in the file,
with no additional information before, between, or after them.
# それぞれのmemberは以下の構造を持っている。
Each member has the following structure:
# ヘッダー
+---+---+---+---+---+---+---+---+---+---+
|ID1|ID2|CM |FLG| MTIME |XFL|OS | (more-->)
+---+---+---+---+---+---+---+---+---+---+
(if FLG.FNAME set)
+=========================================+
|...original file name, zero-terminated...| (more-->)
+=========================================+
# もし指定があれば色々なメタ情報がさらに続くが、
# 今確認しているサンプルファイルのヘッダーは上記のみ。
# 圧縮された本体部分のデータ
+=======================+
|...compressed blocks...| (more-->)
+=======================+
# フッター
0 1 2 3 4 5 6 7
+---+---+---+---+---+---+---+---+
| CRC32 | ISIZE |
+---+---+---+---+---+---+---+---+
3-3. サンプルファイルとRFC 1952の記載の付き合わせ
test1.txt.gzの中身で確認していく。
% od -tx1 test1.txt.gz
0000000 1f 8b 08 08 8e 5f 9b 66 00 03 74 65 73 74 31 2e
0000020 74 78 74 00 33 34 54 30 34 e2 32 32 54 30 32 e2
0000040 02 00 e8 e0 b9 57 0c 00 00 00
0000052
【ヘッダー】
- 先頭の2バイト：1f 8b
"ID1"＋"ID2"
ID1 = 1f, ID2 = 8b で、このファイルがgzipファイルであることを表す。 - 3バイト目：08
"CM"
Compression Method、 圧縮方法を表している。CM = 08 で "deflate"。 - 4バイト目：08
"FLG"
１バイト=8bitの内5bitを使用して、圧縮前ファイルの各種情報を持つ。FLG = 08 は「圧縮前のファイル名情報を持っている、というフラグのみON」の状態。
また、test-single.txt.gzは標準入力からgzip圧縮を行ったので、このフラグがOFFとなっており、FLG = 00 となっている。 - 5 〜 8バイト目：8e 5f 9b 66
"MTIME"
Modification TIME、最終更新日時。標準入力などから圧縮した場合、圧縮日時。 - 9バイト目：00
"XFL"
eXtra FLags、拡張フラグ。 - 10バイト目：03
"OS"
圧縮を行った場所のファイルシステムの種類。OS = 03 でUnix。 - 11〜20バイト目：74 65 73 74 31 2e 74 78 74 00
"original file name, zero-terminated"
圧縮前のファイル名、末尾に 00 が付く。
"test.txt"を16進数表示すると"74 65 73 74 31 2e 74 78 74"となる。
ASCIIコード変換｜進数変換 - 計算サイトで確認した。
【フッター】
- 末尾4バイト：0c 00 00 00
"ISIZE"
Input SIZE、圧縮前ファイルのサイズ（を2の32乗で割った余り）。
0x0000000c = 12- wc -c コマンドで確認
% wc -c test1.txt 12 test1.txt - 末尾から5〜8バイト目：e8 e0 b9 57
"CRC32"
破損や改竄を検出するためのCRC32チェックサム。
4. サンプルコードの動作確認
展開対象のgzipファイルパスはmain()関数に直書きしている。
# main()関数１行目
let filename = "./test-multi.txt.gz";
- MultiGzDecoderを使ったサンプルコードで
./test-multi.txt.gzを展開
% cargo run
Compiling gzip_test v0.1.0 (/...path.../gzip_test)
Finished `dev` profile [unoptimized + debuginfo] target(s) in 0.15s
Running `target/debug/gzip_test`
11 12
21 22
31 32
41 42
→ ファイルの全て（２つのmember）がデコードされる。
- MultiGzDecoderをGzDecoderに置き換えて再実行
# GNU版のsedコマンドをgsedとして使っている。
% gsed -i "s/MultiGzDecoder/GzDecoder/g" src/main.rs
% cargo run
Finished `dev` profile [unoptimized + debuginfo] target(s) in 0.01s
Running `target/debug/gzip_test`
11 12
21 22
→ ファイルの途中まで（１つ目のmemberのみ）がデコードされる。
- GzDecoderを使った実装で、処理対象のファイルを
./test-multi.txt.gzから./test-single.txt.gzに変更して再実行
% gsed -i "s/test-multi\.txt\.gz/test-single.txt.gz/g" src/main.rs
% cargo run
Compiling gzip_test v0.1.0 (/Users/keiichi/Work/test/gzip_test)
Finished `dev` profile [unoptimized + debuginfo] target(s) in 0.73s
Running `target/debug/gzip_test`
11 12
21 22
31 32
41 42
→ memberが１つだけなので、ファイルの全てがデコードされる。
5. まとめ
- gzipファイルは１つのmemberから成る場合と複数のmemberから成る場合がある。
- rustのflate2のGzDecoderは１つのmemberのみをデコードする。
- rustのflate2でgzipファイルを開く場合は、MultiGzDecoderを使用する。
- 自分が処理するファイルがどんなものなのかくらいは、知っておいた方が良い。
P.S.
こういうまとめ記事を書くのは初めてです。
色々ご指摘いただけると超ありがたいです。
A. 参考にしたサイト等
- gzip関連
RFC 1952
gzip（Wikipedia）
Gzipについて調べてみた
TAR32.DLL フォーマット説明ファイル
Go 言語と RFC から gzip の仕組みを紐解く
gzip圧縮されたデータの展開方法いろいろ
- flate2関係
Rustでfastq/fastq.gzを読み書きする
Rust-BioでGzip圧縮されたFASTAを読み込む
- rustのI/O関係
What is the difference between write_all and flush in io::Write trait?
Rustで高速な標準出力
Rustファイル操作勉強スレ