はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』, 通称PRMLの演習問題の解答を記したものです. これは, 生物測定学研究室の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのもので, 匿名の有志の学生による解答をこちらのアカウントから代わりに投稿させていただいています. （なお一部数式の表現などを修正してあります.）
問題
2.6（基本）（2.265）の結果を用いて、ベータ分布（2.13）の平均、分散、およびモードがそれぞれ
$$
\begin{align*}
\mathbb{E}[\mu] = \frac{a}{a+b} \tag {2.267} ,
\end{align*}
$$
$$
\begin{align*}
\operatorname {var}[\mu] = \frac{ab}{(a+b) ^ 2 ( a + b + 1)}\tag {2.268},
\end{align*}
$$
$$
\begin{align*}
\operatorname {mode}[\mu] = \frac{a-1}{a + b -2}\tag {2.269}
\end{align*}
$$
になることを示せ.
（モードとは、最頻値のこと）
解法
まず、
\int_0^1 \mu^{a - 1}(1 - \mu)^{b - 1} d\mu = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b )} \quad(2,265)\\
を前提とする。
また、簡便のため
K = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b )}
とする。
期待値は確率分布$\mu \times p(x)$の積分で求められるため、(2.267)は(2.265)より
\frac{1}{K}\int_0^1 \mu^{a}(1 - \mu)^{b - 1} d\mu = \frac{1}{K}\frac{\Gamma(a+ 1)\Gamma(b)}{\Gamma(a + b + 1)} \\
= \frac{1}{K}\frac{a}{a+b}\frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b)} = \frac{K}{K}\times\frac{a}{a+b} \\
= \frac{a}{a+b}
よって、(2.267)を示すことができた。
(2.268)については、確率変数の2乗の期待値を用いて計算する。
\mathbb{E}[\mu^2] = \frac{1}{K}\int_0^1 \mu^{a+1}(1 - \mu)^{b - 1} d\mu \\
= \frac{1}{K}\frac{a+1}{a+b+1}\frac{\Gamma(a+1)\Gamma(b)}{\Gamma(a + b+1)} \\
= \frac{1}{K}\frac{a(a+1)}{(a+b+1)(a+b)}\frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b)} \\
= \frac{a(a+1)}{(a+b+1)(a+b)}
この式と、分散の公式
\operatorname {var}[\mu] = \mathbb{E}[\mu]^2 - {\mathbb{E}[\mu]^2}
より、
\operatorname {var}[\mu] = \mathbb{E}[\mu^2] - \{\mathbb{E}[\mu]\}^2 \\
= \frac{a(a+1)}{(a+b+1)(a+b)} - \frac{a^2}{(a+b)^2} \\
= \frac{a(a+1)(a+b)-a^2(a+b+1)}{(a+b+1)(a+b)^2} \\
= \frac{(a^{3} + a^{2}b+a^{2}+ab-a^{3}-a^{2}b-a^2 )}{(a+b+1)(a+b)^2} \\
= \frac{ab}{(a+b+1)(a+b)^2}
最後に、ベータ関数の最頻値の式（2.269）を求める。
(2.265)は上に凸であること、Kが正であることから、
f(x) = x^{a-1}(1 - x)^{b - 1} \\
とおき、微分係数が $0 < x < 1$ で最大になる$x$を求める。
f'(x) = \{(a-1)(1-x)-(b-1)x\}x^{a-2}(1 - x)^{b - 2} \\
= (a-ax-1+x-bx+x)x^{a-2}(1 - x)^{b - 2} = 0
このとき、$0 < x < 1$では$x$と$(1-x)$はそれぞれ正のため、最初の係数を考えると
(a+b-1)x = a-1 \\
x = \frac{a-1}{a+b-1}
また、この値を$p$とすると、$0 < x < 1$において
\left\{
\begin{array}{l}
f'(x) > 0 \quad(0 < x < p) \\
f'(x) = 0 \quad (x=p)\\
f'(x) < 0 \quad(p < x < 1)\\
\end{array}
\right.
となるため、$f(x)$を最大とする$x$は$p$である。
よって、ベータ関数の最頻値は$x = \frac{a-1}{a + b -2}$の時であることが示された。 ■