1. 要約
今期はベイズ推定の授業をとっています．その授業の演習で行なった自然共役事前分布を用いて
事後分布を導出する途中計算等をメモしました．
2. 自然共役事前分布って?
$P(\theta|X)$を事後分布，$P(X|\theta)$を尤度，$P(X)$を$X$の分布とすると，ベイズの定理は
\begin{eqnarray}
P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)}
\end{eqnarray}
で表されます．ベイズ推定ではベイズの定理を用いて，事前分布と尤度から，事後分布を計算することを目的としています．この計算が難しく，それを緩和するために発明されたのが自然共役事前分布です．
与えられた尤度に対して事前分布も事後分布も同じ分布族に属するならば，これらの事前分布や事後分布はその尤度に対して自然共役であるという．
(渡部洋(1999).「ベイズ統計入門」p.85)
自然共役事前分布とは，事後分布と事前分布が同じ分布族になるような事前分布のことみたいです．
3. 実際の式変形例
3.1. ケース1
$X_1,\cdots,X_N\overset{i.i.d}{\sim} N(\mu,\sigma^2)$，$\mu\sim N(0,\sigma^2)$の時，$\mu|X_1,\cdots,X_N$はどの分布に従うのでしょうか．事後分布は
\begin{eqnarray}
P(\mu|X_1,\cdots,X_N) &=& \frac{P(X_1,\cdots,X_N|\mu)P(\mu)}{P(X_1,\cdots,X_N)}\\
&=& \frac{\prod_{i=1}^Nf(X_i|\mu)P(\mu)}{\prod_{i=1}^Nf(X_i)}\\
&\propto& (2\pi\sigma^2)^{-N/2}exp(-\frac{\sum_{i=1}^N(x_i-\mu)^2}{2\sigma^2})\times(2\pi\sigma)^{-1/2}exp(-\frac{\mu^2}{2\sigma^2})\\
&\propto&exp(-\frac{1}{2\sigma^2}(\sum_{i=1}^N(x_i-\mu)^2+\mu^2))\\
\end{eqnarray}
ここで指数の中身は
\begin{eqnarray}
\sum_{i=1}^N(x_i-\mu)^2+\mu^2&=&(N+1)\mu^2-(2\sum_{i=1}^Nx_i)\mu + \sum_{i=1}^Nx_i^2\\
&=&(N+1)[\mu-\frac{\sum_{i=1}^Nx_i}{N+1}]^2-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2
\end{eqnarray}
と変形できます．以上の変形から，事後分布は，
\begin{eqnarray}
P(\mu|X_1,\cdots,X_N)&\propto&exp(-\frac{N+1}{2\sigma^2}(\mu-\frac{\sum_{i=1}^Nx_i}{N+1})^2)\\
&&\times exp(-\frac{1}{2\sigma^2}(-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2))\ \ -(*)\\
&\propto&exp(-\frac{N+1}{2\sigma^2}(\mu-\frac{\sum_{i=1}^Nx_i}{N+1})^2)
\end{eqnarray}
となり，
\begin{eqnarray}
\mu|X_1,\cdots,X_N \sim N(\frac{\sum_{i=1}^Nx_i}{N+1},\frac{\sigma^2}{N+1})
\end{eqnarray}
に従うことがわかりました．なお(*)は$\mu$に無関係の項で，定数とみなせることを利用しました．これらの変形から分かるように，この尤度(正規分布)に関して，事前分布を正規分布とすると，事後分布も正規分布になり，これらの関係が自然共役であることがわかりました．
3.2. ケース2
$n|\lambda\sim Poi(\lambda)$，$\lambda\sim Gamma(a,b)$の時，$\lambda|n$はどのような分布となるのでしょうか．ここでガンマ分布$Gamma(a,b)$は
f(x|a,b) = \frac{b^a x^{a-1}}{\Gamma(a)}e^{-bx}
とします．事後分布は
\begin{eqnarray}
P(\lambda|n) &\propto& P(n|\lambda)P(\lambda)\\
&\propto& \frac{\lambda^n}{n!}e^{-\lambda}\times \frac{b^a \lambda^{a-1}}{\Gamma(a)}e^{-b\lambda}\\
&\propto& \lambda^{n+a-1}e^{-(b+1)\lambda}
\end{eqnarray}
となることから，事後分布は
\lambda|n\sim Gamma(n+a,b+1)
となることがわかります．これは簡単ですね．
3.3.ケース3
$X_1,\cdots,X_N\overset{i.i.d}{\sim} N(\mu,\sigma^2)$，$\mu\sim N(0,\sigma^2)$，$\sigma^{-2}\sim Exp(1)$の時，$\mu,\sigma^{-2}|X_1,\cdots,X_N$はどのような分布となるのでしょうか．以下，$\tau=\sigma^{-2}$とおきます．
事後分布は，
\begin{eqnarray}
P(\mu,\tau|X_1,\cdots,X_N) &\propto& P(X_1,\cdots,X_N|\mu,\tau)P(\mu|\tau)P(\tau)\\
&\propto&(\frac{\tau}{2\pi})^{N/2}exp(-\frac{\tau}{2}\sum_{i=1}^N(x_i-\mu)^2)\\
&&\times \sqrt{\frac{\tau}{2\pi}}e^{-\frac{\tau\mu^2}{2}}\times e^{-\tau}\\
&\propto& (\frac{\tau}{2\pi})^{N/2+1}exp(-\frac{\tau}{2}[(N+1)\mu^2-2\sum_{i=1}^Nx_i\mu+\sum_{i=1}^Nx_i^2])\times e^{-\tau}\\
&\propto& (\frac{\tau}{2\pi})^{N/2+1}exp(-\frac{\tau}{2}(N+1)(\mu-\frac{\sum_{i=1}^Nx_i}{N+1})^2)\\
&&\times exp(-\frac{\tau}{2}(-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2+2))
\end{eqnarray}
ここで$\tau|X_1,\cdots,X_N$の分布は，$\mu,\tau|X_1,\cdots,X_N$の分布を$\mu$に関して積分することで，
\begin{eqnarray}
P(\tau|X_1,\cdots,X_N)&=&\int_\mu P(\mu,\tau|X_1,\cdots,X_N)d\mu\\
&\propto&\int_\mu(\frac{\tau}{2\pi})^{(N+1)/2} exp(-\frac{\tau}{2}(N+1)(\mu-\frac{\sum_{i=1}^Nx_i}{N+1})^2)d\mu\\
&&\times (\frac{\tau}{2\pi})^{1/2}exp(-\frac{\tau}{2}(-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2+2))\\
&=&(\frac{\tau}{2\pi})^{1/2}exp(-\frac{\tau}{2}(-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2+2))
\end{eqnarray}
となり，$\tau$の事後分布は，
\begin{eqnarray}
\tau|X_1,\cdots,X_N\sim Gamma(3/2,\frac{1}{2}(-\frac{(\sum_{i=1}^Nx_i)^2}{N+1}+\sum_{i=1}^Nx_i^2+2))
\end{eqnarray}
であることがわかります．
最後に，$\mu|\tau,X_1,\cdots,X_N$の事後分布は，
\begin{eqnarray}
P(\mu|\tau,X_1,\cdots,X_N)&\propto&P(X_1,\cdots,X_N|\tau,\mu)P(\mu)\\
&\propto&exp(-\frac{\tau}{2}(N+1)(\mu-\frac{\sum_{i=1}^Nx_i}{N+1})^2)
\end{eqnarray}
となることから，
\begin{eqnarray}
\mu|\tau,X_1,\cdots,X_N\sim N(\frac{\sum_{i=1}^Nx_i}{N+1},\frac{1}{(N+1)\tau})
\end{eqnarray}
であることがわかります．
4. まとめ
自然共役事前分布を用いることで，事後分布の計算がとても楽となることが実感できました．事後分布の計算には，本来積分計算が含まれており，今回のように自然共役な事前分布と事後分布であるケースは稀です．そういった場合は，分布からの多数の抽出により，事後分布を推定します．(e.g. MCMC etc.)
途中計算や符号等間違っていたらすみません．そのような場合は教えてください．