数学的な知識を高めるために、ちょっくらエントロピーについて学びますかね！！

エントロピーってそもそもなんだっけ？

情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。

つまり、あるデータを表現するのに必要最低限な情報量は何か、ということですね。AとBの２パターンしかないならば、A=0,B=1を割り当ててある事がわかっていればABABは0101(bit)で、0x5(hex)で表現できます、とか。

人はエントロピーに基づいて、より少ないデータ量で情報を表現しようといろいろ試行錯誤してきた。

シャノン符号化

一言でまとめると、累積出現確率がそのまま表現になると。

例えば、以下テストデータで考える（スペースは見やすくするための区切り）。

A=00,B=01,C=10(bin) とすると、2bit × 16 = 32bit

出現頻度の高いものには、短いbitを割り当てましょう、というアイデア。

P(B)とP(C)が低い。そこで、ここにnode(B+C)を作る。

ここで、新しいnode(A+B+C)を作る。この時点で全部の要素を処理したので、結果としてはこのA+B+Cがrootになる。

で、符号化をしてみる。

これに基づくと、なんと23bitまで小さくなりますね！

例えば、再頻度たるAを表現するだけでも、1bitを使ってしまう！ということはこれ以上情報量は少なくすることはできない……　

そこで出てきたアイデアが「複数bitの記号でそれ以上の情報を表現してしまえ」と。

極端な言い方をすれば、「3.14」といったら「159265...」と続き、「1.732」といったら「0508...」と続く、とわかる。

こんな感じで「ある数列を表現する、もっとコンパクトな表現手段」という方向にストーリーは動いていきます。

0~1の間の区間を、データ出現頻度に応じて分割する。
次のデータがきたら、その小区間もまた分割する…を繰り返せば
複数のデータ列を１つの小数で表現できるよね、という手法。

「小数演算やだなあ」という人/システム向けに更に練りこまれた符号化手段。算術符号化では0~1の区間内の話だったが、これをdynamicに定数倍しながら処理する。バイト単位で入出力できるとか書いていたりするが、うーん・・・　とりあえず保留。

＜次回予告＞　https://arxiv.org/pdf/1311.2540.pdf を徐々に読み解いて、もう少し詳しくなるよ！