はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』, 通称PRMLの演習問題の解答を記したものです. これは, 生物測定学研究室の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのもので, 匿名の有志の学生による解答をこちらのアカウントから代わりに投稿させていただいています. （なお一部数式の表現などを修正してあります.）
問題
1.7 この演習問題では, 1変数ガウス分布に関する規格化条件(1.48)を証明する. このために積分
$$
\begin{align*}
\int_{-\infty}^{\infty}\exp\left (-\frac{1}{2\sigma^2}x^2\right )dx
\tag{1.124}
\end{align*}
$$
を考え, その2乗を
$$
\begin{align*}
I^2 = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\exp\left (-\frac{1}{2\sigma^2}x^2-\frac{1}{2\sigma^2}y^2\right )dxdy
\tag{1.125}
\end{align*}
$$
の形で書いて評価する. 直交座標系$\left (x,y\right )$から, 極座標系$\left (r,\theta\right )$に変換し,$u=r^2$を代入する. $\theta$と$u$に関する積分を実行し, 両辺の平方根を取ることにより,
$$
\begin{align*}
I = \left (2\pi\sigma^2\right )^{\frac{1}{2}}
\end{align*}
$$
が得られることを示せ. 最後にこの結果からガウス分布$N\left (x | \mu,|\sigma^2\right )$が規格化されていることを示せ.
参考・1変数ガウス分布に関する規格化条件とは,
$$
\begin{align*}
\int_{-\infty}^{\infty}N\left (x | \mu, \sigma^2\right )dx = 1
\tag{1.48}
\end{align*}
$$
である.
疑問
勝手に重積分を使っていいのだろうか、厳密な証明は不要？
解法
既に変数変換について書いてあるのでお言葉に甘えてしまいましょう。
ただし面倒なので$u=r^2$は使わないことにします（大して変わりませんが）。
まず、$x = r\cos\theta,y = r\sin\theta$である。
このとき、$0 < r < \infty , 0 < \theta < 2\pi$となる。
まずはヤコビアンによる変数変換を使って
\begin{pmatrix}
dx \\
dy \\
\end{pmatrix}
=
\begin{pmatrix}
\frac{\partial x}{\partial r} & \frac{\partial x}{\partial\theta}\\
\frac{\partial y}{\partial r} & \frac{\partial y}{\partial\theta}\\
\end{pmatrix}
\begin{pmatrix}
dr \\
d\theta \\
\end{pmatrix}
この時、真ん中の行列式を求めると
\begin{vmatrix}
\frac{\partial x}{\partial r} & \frac{\partial x}{\partial\theta}\\
\frac{\partial y}{\partial r} & \frac{\partial y}{\partial\theta}\\
\end{vmatrix}
=
\begin{vmatrix}
cos\theta & -rsin\theta\\
sin\theta & rcos\theta\\
\end{vmatrix}
= r
よって$dxdy = rdrd\theta$となる。
これによって$I^2$を書き換えると、
\begin{align}
I^2 =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \exp\left (-\frac{1}{2\sigma^2}x^2-\frac{1}{2\sigma^2}y^2\right )dxdy \\
=\int_{0}^{\infty}\int_{0}^{2\pi}\exp\left (-\frac{r^2}{2\sigma^2}\right )drd\theta \\
= -2\pi\sigma^2\left [ \exp\left (-\frac{r^2}{2\sigma^2}\right )\right ]^\infty_0 = 2\pi\sigma^2
\end{align}
よって、$I^2 = \left (2\pi\sigma^2\right )$が証明できた。
このため、$I = \left (2\pi\sigma^2\right )^{1/2}$である。
次に、
$$
\begin{align*}
\int_{-\infty}^{\infty}N\left (x | \mu, \sigma^2\right )dx = 1
\tag{1.48}
\end{align*}
$$
を証明する。
\int_{-\infty}^{\infty}N\left (x | \mu, \sigma^2\right )dx \\
=\frac{1}{\left (2\pi\sigma^2\right )^{1/2}}\int_{-\infty}^{\infty} \exp\left \{-\frac{1}{2\sigma^2}\left (x-\mu\right )^2\right \}dx
ここで、$z = x - \mu$とおくと、$dz = dx$のため（平行移動不変性）
\int_{-\infty}^{\infty}N\left (x | \mu, \sigma^2\right )dx \\
=\frac{1}{\left (2\pi\sigma^2\right )^{1/2}}\int_{-\infty}^{\infty} \exp\left \{-\frac{1}{2\sigma^2}\left (x-\mu\right )^2\right \}dx\\
=\frac{1}{\left (2\pi\sigma^2\right )^{1/2}}\int_{-\infty}^{\infty} \exp\left \{-\frac{1}{2\sigma^2}z^2\right \}dz \\
=\frac{1}{\left (2\pi\sigma^2\right )^{1/2}}{\left (2\pi\sigma^2\right )^{1/2}} = 1
よって、ガウス分布$N\left (x | \mu, \sigma^2\right )$は規格化されていることが証明できた。 ■