「ベイズ推定１：条件付確率でわかるベイズ推定」に続き、ベイズ推定の解説記事第２回です。
正規分布のベイズ推定
具体的なモデルでの事後分布の導出に進む前に、少し補足すると事後分布
p(\theta|\{x_n\}_{n=1}^N)
= \frac{p(\{x_n\}_{n=1}^N|\theta) p(\theta)}{p(\{x_n\}_{n=1}^N)}
の右辺分子の$p(\{x_n\}_{n=1}^N|\theta)$は尤度、$p(\theta)$は$\theta$の事前分布です。右辺分母は$p(\{x_n\}_{n=1}^N)= \int p(\{x_n\}_{n=1}^N,\theta) d\theta$で、正規化定数です。定数なので事後分布の関数形は分子で決まる、というのは具体的に事後分布を求める際によく使います。
正規分布のベイズ推定をしてみます。簡単のため精度パラメータ（分散の逆数）$\lambda$については既知、平均$\mu$が未知とします。
\begin{align}
p(x;\mu)
&= \mathcal{N}(x;\mu,\lambda^{-1}) \\
&= \frac{1}{\sqrt{2\pi\lambda^{-1}}} \exp\left(
-\frac{\lambda}{2} (x-\mu)^2
\right)
\end{align}
$\mu$の事前分布を（いったん、ここでは天下りで）正規分布
\begin{align}
p(\mu)
&= \mathcal{N}(\mu;\mu_0,\alpha_0^{-1}) \\
&= \frac{1}{\sqrt{2\pi\alpha_0^{-1}}}
\exp\left( -\frac{\alpha_0}{2} (\mu-\mu_0)^2 \right)
\end{align}
とします。観測値$\{x_n\}_{n=1}^N$に基づいて$\mu$についてベイズ推定してみます。
事後分布の対数は
\begin{align}
&\ln p(\mu|\{x_n\}_{n=1}^N) \\
&= \ln p(\{x_n\}_{n=1}^N|\mu) + \ln p(\mu) - \ln p(\{x_n\}_{n=1}^N) \\
&= \ln \prod_{n=1}^N \mathcal{N}(x_n;\mu,\lambda^{-1})
+ \ln \mathcal{N}(\mu;\mu_0,\alpha_0^{-1})
+ {\rm const.} \\
&= \sum_{n=1}^N \ln \mathcal{N}(x_n;\mu,\lambda^{-1})
+ \ln \mathcal{N}(\mu;\mu_0,\alpha_0^{-1})
+ {\rm const.} \\
&= - \frac{\lambda}{2} \sum_{n=1}^N (x_n - \mu)^2
- \frac{\alpha_0}{2} (\mu - \mu_0)^2
+ {\rm const.} \tag{1}
\end{align}
です。$\mu$についての関数形を求めようとしているので、$\mu$に関係のない項は${\rm const.}$にまとめています。$\mu$について二次関数になっています。分布の対数が二次関数になる分布は正規分布と言えば・・、事後分布は正規分布
\begin{align}
\mathcal{N}(\mu;\mu_N,\alpha_N^{-1})
&= \frac{1}{\sqrt{2\pi\alpha_N^{-1}}} \exp \left(
-\frac{\alpha_N}{2} (\mu-\mu_N)^2
\right) \tag{2}
\end{align}
です。平行完成して、$\mu$が従う正規分布の平均パラメータと分散パラメータを求めます。$(1)$式
\begin{align}
&-\frac{\lambda}{2} \sum_{n=1}^N (x_n - \mu)^2 - \frac{\alpha_0}{2} (\mu - \mu_0)^2 + {\rm const.} \\
&= -\frac{1}{2} \left\{
\left( \alpha_0 + N \lambda \right) \mu^2
-2 \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \mu
\right\} + {\rm const.}
\end{align}
と、$(2)$式の対数
\begin{align}
-\frac{\alpha_N}{2} (\mu - \mu_N)^2 + {\rm const.}
&= -\frac{1}{2} \left\{
\alpha_N \mu^2
-2 \alpha_N \mu_N \mu
\right\} + {\rm const.}
\end{align}
の係数を対応させて
\begin{align}
\alpha_N &= \alpha_0 + N \lambda \\
\mu_N
&= \alpha_N^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \\
&= (\alpha_0 + N \lambda)^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right)
\end{align}
を得ます。
以上より、$\mu$の事後分布は
\begin{align}
p(\mu|\{x_n\}_{n=1}^N)
&= \mathcal{N}(\mu;\mu_N,\alpha_N^{-1}) \\
\mu_N
&= (\alpha_0 + N \lambda)^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \\
\alpha_N
&= \alpha_0 + N \lambda
\end{align}
と求まりました。事前分布の精度パラメータを$\alpha_0 \rightarrow 0$（分散を無限に）とすると
\begin{align}
\mu_N &\rightarrow \frac{1}{N} \sum_{n=1}^N x_n \\
\alpha_N &\rightarrow N \lambda
\end{align}
となり、事後分布の平均$\mu_N$はサンプル平均に、分散$\alpha_N^{-1}$はサンプルが従う分散$\lambda^{-1}$の$N$分の$1$になります。
予測分布は
\begin{align}
p(X|\{x_n\}_{n=1}^N)
&= \int p(X|\mu) p(\mu|\{x_n\}_{n=1}^N) d\mu \\
&= \int \mathcal{N}(X;\mu,\lambda^{-1}) \mathcal{N}(\mu;\mu_N,\alpha_N^{-1}) d\mu \\
&= \mathcal{N}(X;\mu_N,\alpha_N^{-1} + \lambda^{-1})
\end{align}
です。
次回は「ベイズ推定３：共役事前分布」です。