応用数学 第3章 情報理論

1．はじめに

　情報理論について学習した内容をまとめました。

2．自己情報量

　式を以下に示す．

I(x)=-\log{P(x)}

　対数の底が2のとき，単位はビット(bit)
　対数の底がネイピア数eのとき，単位は(nat)　となる．

3．シャノンエントロピー

　微分エントロピーとも呼ばれる（微分しているわけではない）．
　自己情報量の期待値を意味する．
　式を以下に示す．

H(x)=-\sum P(x)\log(P(x))

4．カルバック・ライブラー（KL）ダイバージェンス

　同じ事象・確率変数における異なる確率分布P，Qの違いを表す．
　また，Qという古い分布を新たに分かったPの分布から見た時に
　どのくらいの情報量が違うのかということを意味する．
　式を以下に示す．

D_{KL}(P||Q) = \sum_{x}^{}P(x)\log\frac{P(x)}{Q(x)}

5．交差エントロピー

　KLダイバージェンスの一部分を取り出したもの．
　Qについての自己情報量をPの部分で平均している．

H(P,Q) = -\sum_{x}^{}P(x)\log{Q(x)}