問題

(1.106)と(1.107)を使って、1変数ガウス分布(1.109)のエントロピーが(1.110)で与えられることを示せ。

解答

(演習1.34)では連続変数の場合において微分エントロピーを最大にする分布はガウス分布であることを示した。(演習1.35)では実際にガウス分布において微分エントロピーはいくつになるのかを求めている。
連続変数における微分エントロピーは、

\begin {align*}
\mathrm{H}[\mathbf{x}]=-\int p(\mathbf{x}) \ln p(\mathbf{x}) \mathrm{d} \mathbf{x}
\tag{1.104}
\end {align*}

上記の式(1.104)によって求めることができる。そのため1次元のガウス分布

\begin {align*}
p(x)=\frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \exp \left\{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right\}
\tag{1.109}
\end {align*}

(1.109)を(1.104)の$p(\mathbf{x})$に代入することで微分エントロピーを求めることができる。実際に(1.104)の$\ln p(x)$に代入してみると、

\begin {align*}
\mathrm{H}[x]=-\int p(x)\left\{\frac{(x-\mu)^{2}}{2 \sigma^{2}} + \ln \frac{1}{\left(2 \pi \sigma^{2}\right)^{1 / 2}} \right\}
\tag{ex1.35.1}
\end {align*}

この時

\begin {align*}
\int_{-\infty}^{\infty} p(x) \mathrm{d} x=1
\tag{1.105}
\end {align*}

\begin {align*}
\int_{-\infty}^{\infty}(x-\mu)^{2} p(x) \mathrm{d} x=\sigma^{2}
\tag{1.107}
\end {align*}

上記の(1.105)、(1.107)を用いて(ex1.35.1)を変形してやると、

\begin {align*}
\mathrm{H}[x] =& -\left\{-\frac{1}{2} - \frac{1}{2} \ln\left(2 \pi \sigma^{2}\right) \right\} \\
=& \frac{1}{2}\left\{1+\ln \left(2 \pi \sigma^{2}\right)\right\}
\end {align*}

となる。