問題
1.6節で、エントロピー$h(x)$のアイディアを、確率分布$p(x)$を持つ確率変数$x$の値を観測することによって増える情報量として導入した。また、変数$x, y$が$p(x,y)=p(x)p(y)$となって独立なときは、エントロピーは加法的で、$h(x,y) = h(x)+h(y)$となることを見た。この演習問題では、$h$と$p$の間の関数関係$h(p)$を導く。まず、$h(p^2)=2h(p)$となることを示し、数学的帰納法により、正の整数$n$に対し$h(p^{n})=nh(p)$となることを示せ。さらに、正の整数$m$に対し、$h(p^{n/m})=(n/m)h(p)$が成り立つことを示せ。このことから$x$が正の有理数のとき、$h(p^x)=xh(p)$が成り立つが、これは連続性により正の実数値の場合も成り立つ。最後にこのことから$h(p)$が$h(p)\propto\ln{p}$の形を取らなければならないことを示せ。
前提条件
\begin {align*}
p(x,y)=p(x)p(y)
\tag{ex1.28.1}
\end {align*}
\begin {align*}
h(x,y) = h(x)+h(y)
\tag{ex1.28.2}
\end {align*}
方針
この問題は、
1. $h(p^2)=2h(p)$となることを示す
2. 数学的帰納法により、正の整数$n$に対し$h(p^{n})=nh(p)$が成り立つことを示す
3. 正の整数$m$に対し、$h(p^{n/m})=(n/m)h(p)$が成り立つことを示す
4. $h(p)$が$h(p)\propto\ln{p}$の形を取らなければならないことを示す
という4段階の証明になっている。
証明1
$h(p^2)=2h(p)$となることを示す
この証明は(ex1.28.2)を用いることによって簡単に示すことができる。
\begin {align*}
h(p^2) =& \ h(p\cdot p)\\
=& \ h(p) + h(p) \\
=& \ 2h(p)
\end {align*}
証明2
数学的帰納法により、正の整数$n$に対し$h(p^{n})=nh(p)$が成り立つことを示す。
- $n = 1$の時
\begin {align*}
h(p) = h(p)
\end {align*}
よって$n = 1$の時$h(p^{n})=nh(p)$は成り立つ
- $n = k$の時($k$は2以上の自然数)
\begin {align*}
h(p^{k})=kh(p)
\end {align*}
が成り立つとすると、
- $n = k+1$の時
\begin {align*}
h(p^{k+1}) =& \ h(p^k, p)\\
=& \ h(p^k) + h(p)\\
=& \ kh(p) + h(p)\\
=& \ (k + 1)h(p)
\tag{ex6.3.1}
\end {align*}
よって、$h(p^{k+1})=(k+1)h(p)$が成り立つ。
このことから数学的帰納法より正の整数$n$に対し$h(p^{n})=nh(p)$が成り立つ
証明3
正の整数$m$に対し、$h(p^{n/m})=(n/m)h(p)$が成り立つことを示す
証明2では自然数について等式が成り立つことを示したが、ここではさらに拡張して正の分数においても成り立つことを示す。この時はまだ自然数についてのみ等式が成り立っていることに注意して式変形をする。
\begin {align*}
h(p^{n/m}) =& \ nh(p^{1/m})\\
=& \ \frac{n}{m} mh(p^{1/m})\\
=& \ \frac{n}{m} h(p)
\end {align*}
よって$h(p^{n/m})=(n/m)h(p)$が成り立つことは示された
証明4
$h(p)$が$h(p)\propto\ln{p}$の形を取らなければならないことを示す
まず、$p = q^x$とおいてやると、
\begin {align*}
\frac{h(p)}{\ln{p}} =& \ \frac{h(q^x)}{\ln{q^x}}\\
=& \ \frac{xh(q)}{x\ln{q}}\\
=& \ \frac{h(q)}{\ln{q}}\\
\therefore h(p) = \ \frac{h(q)}{\ln{q}}\ln{p}
\end {align*}
よって$h(p)\propto\ln{p}$の形を取ることが示された。
これは情報量を表す関数$h$が満たすべき条件を表している。
参考：http://prml.yutorihiro.com/chapter-1/1-28/