ファイルサイズ

青空文庫のこころで試したところ、

どうやって小さくしたのか

タイトルに書いたように文字を表す単位を12bitsにしました。utf8だと日本語は3Bytes、shift-Jisでも2Bytesなので、12bitsまで持ち込めばかなり容量が小さくなるだろうという目論見です。

常用漢字2000字強、ひらがな100字、記号ちょこっと、あたりが日本語で主に扱う文字なので、12bitsあればほぼほぼ足ります。上の表を見ると、おおよそ、Jac : shift-JIS : utf8 == 3 : 4 : 6になっています。

ひらがな、カタカナ、記号、常用漢字、ASCII文字は、12bits内で表せるようになってます（ハードコーディングされてます）。それ以外のUnicode文字は3Bytesを使ってのんびり記述しています。

読み書きは、3Bytes(二文字)単位で行います。

文字コードとbit演算のいい勉強になりました。
- 特にbit演算は12bit規格である都合上多用するので、習熟度が上がりました。
- utf8が無駄が多い規格なのもなんとなく学べました。
圧縮ツールの偉大さがわかりました。
- 生の文字コードだと半分近いのに、bzip2で圧縮かけるとjacの方が容量が大きくなる…

普段使っているものを自作するのはとても面白いし、学ぶことが多いですね。コメントいただければ質問には返答します。