背景

昨今機械学習データ(主に画像)は tar で固めてメタデータは parquet/json で webdataset 形式が増えてきた気がします.

tar は tar.bz2 とかで使っているがそもそも tar とはなんぞや?

情報

webdataset の tar を dump すると @PaxHeader と出るので, Pax 形式ですかね.

00000000  2e 2f 2e 2f 40 50 61 78  48 65 61 64 65 72 00 00  |././@PaxHeader...

webdataset の tar ファイルはそんなに大きくないですが(分割の仕方にもよるが 100 ~ 200 MB くらい?), 毎回ファイル展開するのはめんどいですよね.
非圧縮なので mmap あたりで抽出できるはずです!

Python tarfile なら直読み出しできるっぽ?

画像の場合これを使ってサムネイル生成とかで使えそうです!