はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による[『Pattern Recognition and Machine Learning （パターン認識と機械学習）』] (https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/) , 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する[生物測定学研究室] (https://www.ut-biomet.org/) の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, [PRML 演習問題 解答集 まとめ] (https://qiita.com/Lab_of_Biomet/items/15e38ca34fafa8176d89) をご覧ください.
問題
8.4.4節において, 因子グラフの変数ノード $x _ { i }$ 上の周辺分布 $p \left ( x _ { i } \right )$ が, 隣接因子ノードからこのノードに伝わるメッセージの積として
\begin{align*}
p(x) &=\prod_{s \in \operatorname{ne}(x)}\left[\sum_{X_{s}} F_{s}\left(x, X_{s}\right)\right] \\
&=\prod_{s \in \operatorname{ne}(x)} \mu_{f_{s} \rightarrow x}(x)
\tag{8.63}
\end{align*}
の形で与えられることを示した. $x _ { i }$ に接続するリンクを $1$ つ選んだとする. 周辺分布 $p \left ( x _ { i } \right )$ はこの $1$ つのリンクに沿って入ってくるメッセージと同じリンクに沿って出ていくメッセージの積として書くこともできることを示せ.
解答
この問題の方針としては, 周辺分布 $p \left ( x _ { i } \right )$ がどのように分解できているかを考えていきましょう. すなわち, その分解が入ってくるメッセージと出ていくメッセージになるような分解を考えればいい, ということになりますね.
したがって, まず $\left ( 8.63 \right )$ 式を分解し, その後変数ノードから因子ノードへの出力についての
\begin{align*}
\mu_{x_{m} \rightarrow f_{s}}\left(x_{m}\right) &=\prod_{l \in \operatorname{ne}\left(x_{m}\right) \backslash f_{s}}\left[\sum_{X_{l m}} F_{l}\left(x_{m}, X_{l m}\right)\right] \\
&=\prod_{l \in \operatorname{ne}\left(x_{m}\right) \backslash f_{s}} \mu_{f_{l} \rightarrow x_{m}}\left(x_{m}\right)
\tag{8.69}
\end{align*}
の適用を考えればよい, ということになります.
すなわち, $x _ { i }$ に接続するリンクを $f_{s}$ とすると,
\begin{align*}
p\left(x_{i}\right) &=\prod_{s \in \operatorname{ne}\left(x_{i}\right)} \mu_{f_{s} \rightarrow x_{i}}\left(x_{i}\right) \\
&=\mu_{f_{s} \rightarrow x_{i}}\left(x_{i}\right) \prod_{t \in \operatorname{ne}\left(x_{i}\right) \backslash f_{s}} \mu_{f_{t} \rightarrow x_{i}}\left(x_{i}\right) \\
&=\mu_{f_{s} \rightarrow x_{i}}\left(x_{i}\right) \mu_{x_{i} \rightarrow f_{s}}\left(x_{i}\right)
\tag{8.23.1}
\end{align*}
のように分解できるため, 「周辺分布 $p \left ( x _ { i } \right )$ はこの $1$ つのリンクに沿って入ってくるメッセージと同じリンクに沿って出ていくメッセージの積として書くこともできる」ことを示すことができました.