##問題
(3.86)の$\mathbf{\alpha}$に関する最大化が再推定方程式(3.92)に帰着されることを示すのに必要なすべての段階を(3.86)から始めて確かめよ
\begin{align*}
\mathrm{lnp(t|\alpha,\beta)=\frac{M}{2}ln{\alpha}+\frac{N}{2}ln{\beta}-E(m_N)-\frac{1}{2}ln|A|-\frac{N}{2}ln(2\pi)}
\tag{3.86}\\
\mathrm{{\alpha}=\frac{\gamma}{m_N^Tm_N}}
\tag{3.92}
\end{align*}
##方針
PRML本文の3.5.2にしたがって式変形を行う。まずは(3.86)の項の内$\mathbf{\alpha}$に関する項に着目し取り組んでいく。
##解答
\begin{align*}
\mathrm{A={\alpha}I+{\beta\Phi\Phi^T}}
\tag{3.81}\\
\mathrm{E(m_N)=\frac{\beta}{2}{\parallel}t-{\Phi}^Tm_N{\parallel}^2+\frac{\alpha}{2}m_N^Tm_N}
\tag{3.82}
\end{align*}
はじめに(3.87)の固有ベクトル方程式を考える
\begin{align*}
\mathrm{\Big({\beta\Phi\Phi^T}\big)u_i=\lambda_iu_i}
\tag{3.87}
\end{align*}
(3.81)よりAは固有値$\mathrm{{\alpha}+\lambda_i}$をもつ
したがって(3.86)の第4項の$\mathbf{\alpha}$に関する導関数を考えると以下のようになる
\begin{align*}
\mathrm{\frac{d}{d{\alpha}}ln|A|=\frac{d}{d{\alpha}}ln{\prod_i}(\lambda_i+\alpha)=\frac{d}{d{\alpha}}{\sum_i}ln(\lambda_i+\alpha)}
\tag{3.88}
\end{align*}
よって(3.86)の$\mathbf{\alpha}$に関する導関数は以下で与えられる
\begin{align*}
\mathrm{\frac{d}{d\alpha}lnp(t|{\alpha},{\beta})}=\mathrm{\frac{1}{2}\Big(\frac{M}{\alpha}-m_N^Tm_N-\sum_i\frac{1}{\lambda_i+\alpha}\Big)}
\end{align*}
導関数=0とおくと(3.86)の$\mathbf{\alpha}$に関する停留点は以下の(3.89.a)を満たす
\begin{align*}
\mathrm{\frac{1}{2}\Big(\frac{M}{\alpha}-m_N^Tm_N-\sum_i\frac{1}{\lambda_i+\alpha}\Big)}=0
\tag{3.89.a}
\end{align*}
整理すると
\begin{align*}
\mathrm{{\alpha}m_N^Tm_N=M-\alpha\sum_i\frac{1}{\lambda_i+\alpha}}
\tag{3.90.a}
\end{align*}
Mは以下で示すことができるので
\begin{align*}
\mathrm{M=\sum_i^M\frac{\lambda_i+\alpha}{\lambda_i+\alpha}}
\end{align*}
(3.90.a)を変形し$\mathbf{\gamma}$とおく
\begin{align*}
\mathrm{{\alpha}m_N^Tm_N=\sum_i\frac{\lambda_i}{\lambda_i+\alpha}=\gamma}
\end{align*}
したがって周辺尤度を最大化する$\mathbf{\alpha}$の値は以下の(3.92)を満たす
\begin{align*}
\mathrm{{\alpha}=\frac{\gamma}{m_N^Tm_N}}
\tag{3.92}
\end{align*}
よって題意は示された