1.はじめに
今回は、情報理論についてまとます。
2.Summary
1)自己情報量：
$I(x)=-logP(x)$
2)エントロピー：
$H(x)=\sum_i -P(x_i)logP(x_i)$
3)エントロピー（2値）：
$H(x)=-plog(p)-(1-p)log(1-p)$
4)KLダイバージェンス：
$D_{KL}(P||Q)=\sum_x P(x)log\frac{P(x)}{Q(x)}=\sum_x(p(x)logP(x)-p(x)logQ(x))$
2.自己情報量
発生確率の大小によって情報量は変わる。確率は掛け算で取り扱いが面倒なので、logを取り足し算に変換。確率が小さいほど情報量を大きくとしたいので、マイナスを付ける。つまり、
$I(x)=-logP(x)$
1〜40の目が出るルーレットにおいて、
情報A）1〜10の目が出る： $-log_2(\frac{1}{4})=log_24=2$
情報B）偶数の目が出る： $-log_2(\frac{1}{2})=log_22=1$
情報C）1〜10の目が出る かつ 偶数の目が出る： $-log_2(\frac{1}{4}*\frac{1}{2})=log_2(8)=3$
・情報Aは情報Bより発生確率が低いので、情報量が大きい。
・logを取っているので、情報C＝情報A＋情報Bが成り立つ。
3.エントロピー（平均情報量）
エントロピー（平均情報量）とは、分からなさ。
ルーレットの出目を教えて貰う場合のエントロピー（平均情報量）は、自分が既に知っている情報によって変化する。
自分が何も知らないときに、出目を教えて貰う場合の平均情報量：
*$H(x)=\sum_{i=1}^{40}-P(x_i)logP(x_i)=-\frac{1}{40}log(\frac{1}{40})40
=log_2{40}\fallingdotseq 5.32$
自分が情報Cを知っていたときに、出目を教えて貰う場合の平均情報量：
*$H(x)=\sum_{i=1}^5-P(x_i)logP(x_i)=-\frac{1}{5}log(\frac{1}{5})5
=log_25\fallingdotseq 2.32$
つまり、既に知っている情報がある場合は、平均情報量が小さい。
自分が何も知らないときに、出目が偶数か、奇数か教えて貰うときの平均情報量：
*$H(x)=\sum_{i=1}^{2}-P(x_i)logP(x_i)=-\frac{1}{2}log(\frac{1}{2})2
=log_2{2}=1$
自分が何も知らないときに、出目が2か2でないかを教えて貰う場合の平均情報量：
*$H(x)=\sum_{i=1}^{2}-P(x_i)logP(x_i)=-\frac{1}{40}log(\frac{1}{40})-\frac{39}{40}log(\frac{39}{40})40
=log_2{40}\fallingdotseq 0.17$
つまり、出目が2か2でないかという情報は、大体予想がつくことなので、平均情報量は小さい。
4.KLダイバージェンス
同じ確率変数xに対して異なる確率分布P(x)とQ(x)があるとき、カルバック・ライブラー・ダイバージェンス（KLダイバージェンス）を使って、この２つの分布にどれだけの差があるのか測ることが出来る。
$D_{KL}(P||Q)=E_{x\sim P}
\begin{bmatrix}
log\frac{P(x)}{Q(x)}
\end{bmatrix}=
E_{x\sim P}[logP(x)-logQ(x)]$
＊$E_{x \sim P}[f(x)]$は、P(x)に関するf(x)の期待値
＊但し、$D_{KL}(P||Q)\neq D_{KL}(Q||P)$である。