PRML 演習問題 2.2（標準） 解答

はじめに

　本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による[『Pattern Recognition and Machine Learning （パターン認識と機械学習）』] (https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/) , 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する[生物測定学研究室] (https://www.ut-biomet.org/) の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, [PRML　演習問題　解答集　まとめ] (https://qiita.com/Lab_of_Biomet/items/15e38ca34fafa8176d89) をご覧ください.

問題

　ベルヌーイ分布 $\mathrm{Bern} (x , | , \mu) = \mu ^ x (1- \mu )^{1-x} $ の表現では， $x$ の $2$ つの値 $0$ と $1$ に関して対称ではない．場合によっては， $x \in { -1, , 1}$ を用いた等価な表現の方が便利である．このとき分布は

p(x \, | \, \mu) = \left(  \frac{1-\mu}{2}   \right) ^{(1-x)/2} \left(  \frac{1+\mu}{2}   \right) ^{(1+x)/2}

と書くことができる．ただし，$\mu \in [-1, , 1]$ である．この分布が正規化されていることを示し，その平均，分散，エントロピーを計算せよ．

##解答

正規化の証明

　ベルヌーイの式で規定しているのは離散的な2回の結果なので，$\Sigma , p $ の合計が $1$ になっていれば正規化されているとすることができる．

p(x \, | \, \mu) = \left(  \frac{1-\mu}{2}   \right) ^{(1-x)/2} \left(  \frac{1+\mu}{2}   \right) ^{(1+x)/2}

より，

\begin{aligned}
\sum_{x = 1, \, -1} p(x \, | \, \mu) \, &=  p(x = 1 \, | \,  \mu) + p(x = -1 \, | \,  \mu) 
\\
& = \frac{1 + \mu}{2} + \frac{1 - \mu}{2}
\\ 
\\
& = 1
\end{aligned}

したがって，この分布は正規化されている．

平均の導出

　平均はいわゆる期待値であり， $\Sigma , x , p(x)$ で計算できる．したがって，平均は

\begin{align}
\mathrm E[x] \,  & =  1 \times \frac{1 + \mu}{2} + (-1) \times \frac{1 - \mu}{2}
\\
& = \mu
\end{align}

となる．

分散の導出

　分散の式より，

\begin{aligned}
\mathrm {var}[x]  \, &=  \mathrm {E}[x^2] - \mathrm {E}[x]^2
\\
\\
& = \left\{ 1^2 \times \frac{1 + \mu}{2} + (-1)^2 \times \frac{1 - \mu}{2} \right\} -  \mu^2
\\
\\
& = 1-\mu^2
\end{aligned}

エントロピーの導出

　ある送信者が確率変数の値を受信者に送りたいとする時，その操作で送られる情報の平均量のことを確率変数 $x$ のエントロピーと呼ぶ．これは分布 $p(x)$ に関する期待値なので，今回のような離散的な形をとる場合は以下のようにして求まる．

\begin{aligned}
\mathrm H[x] \, & = - \sum_{x = -1, 1} \, p(x \, | \, \mu) \ln \, p(x \, | \, \mu)
\\
\\
& = - \left\{  \, p(x=-1 \, | \, \mu) \ln \, p(x=-1 \, | \, \mu)  +  \, p(x =1\, | \, \mu) \ln \, p(x=1 \, | \, \mu) \right\}
\\
\\
& = -\left\{ \frac{1-\mu}{2} \, \ln \, \frac{1-\mu}{2} + \frac{1+\mu}{2} \, \ln \, \frac{1+\mu}{2} \right\} 
\end{aligned}