はじめに
正規分布 エントロピーなどと検索すると、エントロピーを最大にする分布として正規分布自体を導出する解説は多く出てきます。
しかし、逆に正規分布からそのエントロピーを求める話は意外と見かけません。
今回、正規分布のエントロピーを計算したのでここに残しておきます。
正規分布のエントロピー
平均$\mu$、分散$\sigma^2$の正規分布は以下の式で表されます。
p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)
この分布の（微分）エントロピーは以下のようになります。
H[x] = \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}
導出
エントロピーの式に当てはめて計算していきます。
（明らかに$\mu=0$として簡単化しても結果は同じですが敢えて一般的な形で計算します）
\begin{align*}
H[x] &= -\int_{-\infty}^\infty p(x)\ln p(x)dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \ln \left\{ \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \right\} dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \left\{ -\frac{1}{2}\ln\left(2\pi\sigma^2 \right) -\frac{(x-\mu)^2}{2\sigma^2} \right\}dx \\
&= \frac{1}{2}\ln \left( 2\pi\sigma^2 \right) \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)dx + \frac{1}{\sqrt{8\pi\sigma^6}}\int_{-\infty}^\infty (x-\mu)^2\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) dx
\end{align*}
ここで、前半の積分は正規分布の積分そのものなので1になります。
後半の積分について、$t:=x-\mu$と置換します。
$t\cdot t\exp(-t^2/2\sigma^2)$とみて部分積分1を使い、
\begin{align*}
&\int_{-\infty}^\infty t^2\exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \left[ -t\sigma^2 \exp \left( -\frac{t^2}{2\sigma^2} \right) \right]_{-\infty}^\infty +\sigma^2 \int_{\infty}^\infty \exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \sqrt{2\pi\sigma^6}
\end{align*}
ゆえに、
\begin{align*}
H[x] &= \frac{1}{2}\ln\left( 2\pi\sigma^2 \right)\cdot 1 + \frac{1}{\sqrt{8\pi\sigma^6}}\cdot \sqrt{2\pi\sigma^6} \\
&= \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}
\end{align*}
となります。
おわりに
正規分布のエントロピーを計算しました。
エントロピーが分散だけで決まり、分散が大きくなるとエントロピーも増大するのは直感とも合っています。
また、$\sigma^2 < 1/(2\pi e)$のときエントロピーが負（！）になります。
連続分布のエントロピー（微分エントロピー）は実は負にもなり得るんですね。