5
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

posted at

updated at

正規分布のエントロピーを丁寧に計算する

はじめに

正規分布 エントロピーなどと検索すると、エントロピーを最大にする分布として正規分布自体を導出する解説は多く出てきます。

しかし、逆に正規分布からそのエントロピーを求める話は意外と見かけません。
今回、正規分布のエントロピーを計算したのでここに残しておきます。

正規分布のエントロピー

平均$\mu$、分散$\sigma^2$の正規分布は以下の式で表されます。

p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)

この分布の(微分)エントロピーは以下のようになります。

H[x] = \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}

導出

エントロピーの式に当てはめて計算していきます。
(明らかに$\mu=0$として簡単化しても結果は同じですが敢えて一般的な形で計算します)

\begin{align*}
H[x] &= -\int_{-\infty}^\infty p(x)\ln p(x)dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \ln \left\{ \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \right\} dx \\
&= -\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) \left\{ -\frac{1}{2}\ln\left(2\pi\sigma^2 \right) -\frac{(x-\mu)^2}{2\sigma^2} \right\}dx \\
&= \frac{1}{2}\ln \left( 2\pi\sigma^2 \right) \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)dx + \frac{1}{\sqrt{8\pi\sigma^6}}\int_{-\infty}^\infty (x-\mu)^2\exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right) dx
\end{align*}

ここで、前半の積分は正規分布の積分そのものなので1になります。

後半の積分について、$t:=x-\mu$と置換します。
$t\cdot t\exp(-t^2/2\sigma^2)$とみて部分積分1を使い、

\begin{align*}
&\int_{-\infty}^\infty t^2\exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \left[ -t\sigma^2 \exp \left( -\frac{t^2}{2\sigma^2} \right) \right]_{-\infty}^\infty +\sigma^2 \int_{\infty}^\infty \exp \left( -\frac{t^2}{2\sigma^2} \right)dt \\
&= \sqrt{2\pi\sigma^6}
\end{align*}

ゆえに、

\begin{align*}
H[x] &= \frac{1}{2}\ln\left( 2\pi\sigma^2 \right)\cdot 1 + \frac{1}{\sqrt{8\pi\sigma^6}}\cdot \sqrt{2\pi\sigma^6} \\
&= \frac{1}{2}\left\{ 1+\ln \left( 2\pi\sigma^2 \right) \right\}
\end{align*}

となります。

おわりに

正規分布のエントロピーを計算しました。
エントロピーが分散だけで決まり、分散が大きくなるとエントロピーも増大するのは直感とも合っています。

また、$\sigma^2 < 1/(2\pi e)$のときエントロピーが負(!)になります。
連続分布のエントロピー(微分エントロピー)は実は負にもなり得るんですね。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
5
Help us understand the problem. What are the problem?