はじめに

統計検定準1級の勉強をしたときの記録です。
ベータ分布の観点から、事後分布のベイズ推定とMAP推定について学びます。

ベータ分布について

ベータ分布 $Be(a,b)$ の確率密度関数は、以下の式で表されます。
$C$は確率の合計が1になるようにするための規格化定数です。

\begin{align}
f(\theta) &= C \theta^{a-1}(1-\theta)^{b-1}   \\
C &= \frac{1}{\int_0^1 \theta^{a-1}(1-\theta)^{b-1} d\theta}
\end{align}

以下のような性質があります

$Be(1,1)$ は、一様分布と同義
期待値は、$\frac{a}{a+b}$

共役事前分布

ベイズの定理より、事後分布は事前分布と尤度の積に比例します。

P(\theta|X) \propto P(X|\theta)P(\theta)

このとき、うまく分布をとることにより、事前分布と事後分布が同じ確率分布族に従う状態を作ることができます。
このような事前分布を共役事前分布と呼びます。
尤度が2項分布の場合、Beta分布は共役事前分布となります。

事前分布としてベルヌーイ分布$Be(a,b)$ を仮定し、何らかの二項分布$Bin(n, \theta)$ の施行の結果として、$r$ 回成功したとします。
このとき、施行結果によって更新された分布、すなわち、事後分布は、Cを適当な定数として以下のようになります。

\begin{align}
posterior &=  C_0 \theta^{a-1}(1-\theta)^{b-1} \times {}_n C_r \theta^r(1-\theta)^{n-r} \\
&= C_1 \theta^{a+r-1}(1-\theta)^{b+n-r-1} \\
&\sim Be(a+r, b+n-r)
\end{align}

確かに、事後分布がベータ分布になりました。

ベイズ法による事後分布からのパラメータの点推定

点推定にはいくつかありますが、ここではベイズ推定量とMAP推定量について考えます。

ベイズ推定量

ベイズ推定量は、以下で表されます。

\hat{\theta} = \int_{\theta \in \Theta} \theta f(\theta | X) d\theta

すなわち、事後分布におけるパラメータ$\theta$の期待値がベイズ推定量です。
前述の事後分布 $Be(a+r, b+n-r)$ であれば、ベータ分布の期待値に等しく、$\frac{a+r}{a+b+n}$ となります。

MAP推定量

MAP推定量は、事後分布の値を最大化する$\theta$です。すなわち、

\hat{\theta} = arg\max_{\theta \in \Theta} f(\theta | X)

よって、微分して極値 (= 二項分布のモード) をとる値をもとめればよいことがわかります。
ベータ分布 $B(a,b)$ について考えると、

\frac{df}{dx} = ((a-1)(1-\theta) - (b-1)\theta)\theta^{a-2}(1-\theta)^{b-2}

なので、$\theta = \frac{a-1}{a+b-2}$ となります。

よって、事後分布$Be(a+r,b+n-r)$ のMAP推定量は、$\frac{a+r-1}{a+b+n-2}$ となります。

参考文献

日本統計学会編　「統計学実践ワークブック」