はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』, 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する生物測定学研究室の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, PRML 演習問題 解答集 まとめをご覧ください.
問題
ガウス分布（1.46）のモード（つまり分布が最大となる $x$ の値）が $\mu$ で与えられることを示せ。
同様に、多変量ガウス分布（1.52）のモードは $\mu$ で与えられることを示せ。
解答
問題からわかるように,以下の2問に分けて解いていきます。
問題1.9.1
ガウス分布（1.46）のモード（つまり分布が最大となる $x$ の値）が $\mu$ で与えられることを示せ。
方針
(1.46)式を $x$ で微分し、これが $0$ の時に分布が最大となる。
その時の $x$ が $\mu$ であることを示せばよい。
証明
まず、ガウス分布（1.46）は
\begin {align*}
N ( { x | \mu , \sigma^2} ) = \frac { 1 } { (2 \pi \sigma^2) ^ \frac {1}{2} } \exp \left\{-\frac{1}{2\sigma^ 2}(x-\mu)^ 2\right\}
\tag{1.46}
\end{align*}
である。
$x$ で微分し、これが $0$ の時を考える。
\begin {align*}
\frac {d}{dx}N ( { x | \mu , \sigma^2} ) & = N ( { x | \mu , \sigma^2} ) \frac {d}{dx} \left\{ -\frac{1}{2\sigma^ 2}(x-\mu)^ 2\right\}
\\& = N ( { x | \mu , \sigma^2} ) \left\{ -\frac{x-\mu}{\sigma^2} \right\}
\\& = 0
\end{align*}
したがって,ガウス分布（1.46）のモードが $\mu$ で与えられる。
問題1.9.2
多変量ガウス分布（1.52）のモードは $\mu$ で与えられることを示せ。
方針
問題1.9.1 と同様に、(1.52)式をベクトル $\mathbf x$ で微分する。
準備
$\mathbf x $ を $ n×1 $ ベクトル、$\mathbf A $ を $ n×n $ 対称行列とするとき、
\frac{\partial}{\partial \mathbf{x}}\left(\mathbf{x}^{T} \mathbf{A} \mathbf{x}\right)=2 \mathbf{A} \mathbf{x}
を用いる。
解答
まず、多変量ガウス分布（1.52）は
\begin {align*}
\mathcal{N} ( { \mathbf {x} | \boldsymbol{\mu} , \boldsymbol{\Sigma}^2} ) & = \frac {1}{(2\pi)^\frac {D}{2}} \frac {1}{|\boldsymbol{\Sigma}|^\frac{1}{2}} \exp \left\{ -\frac{1}{2}(\mathbf x-\boldsymbol{\mu})^ \mathbf T \boldsymbol{\Sigma} ^{-1}(\mathbf x -\boldsymbol{\mu}) \right\}
\tag{1.52}
\end{align*}
である。
\begin{aligned}
\frac{\partial}{\partial \mathbf{x}} \mathcal{N} ( { \mathbf x | \mu , \Sigma^2} )
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \frac{\partial}{\partial \mathbf{x}} \exp \left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right) \\
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}} \cdot \frac{\partial}{\partial \mathbf{z}} \exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) \quad(\mathbf{z}:=\mathbf{x}-\boldsymbol{\mu}) \\
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot \frac{\partial}{\partial \mathbf{z}} \exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) \\
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot\left\{\exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) -\frac{1}{2}( 2 \boldsymbol{\Sigma}^{-1} \mathbf{z})\right\} \\
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot\left\{-\exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) \boldsymbol{\Sigma}^{-1} \mathbf{z}\right\} \\
&=-\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp \left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right) \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) \\
&=-\mathcal{N} ( { \mathbf x | \mu , \Sigma^2} ) \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})
\end{aligned}
したがって, 多変量ガウス分布（1.52）のモードは $\mu$ で与えられる。
参考にさせていただいたページ
更新歴
- 2021.12.3 : タグに「ガウス分布」「多変量ガウス分布」を追加しました。
- 2021.11.16 : 本記事を投稿しました。