問題
平均$\mathbf{\mu}$と共分散$\mathbf{S}$を持つガウス分布$\mathcal{p}\mathrm{(x|\mu)=}\mathcal{N}\mathrm{(x|\mu,S)}$に対して(6.33)で定義されるフィッシャーカーネルの具体的な形式を導け.
\begin{align*}
\mathcal{k}\mathrm{(x,x')=g(\theta,x)^TF^{-1}g(\theta,x)}
\tag{6.33}
\end{align*}
なお$\mathbf{F}$はフィッシャー情報量行列と呼ばれ以下の(6.34)で定義される.
\begin{align*}
\mathbf{F}\mathrm{=}\mathbf{E_x}\mathrm{[g(\theta,x)g(\theta,x)^T]}
\tag{6.34}
\end{align*}
方針
(6.33)はフィッシャースコアと呼ばれる$\mathrm{\theta}$についての勾配
$$
\mathrm{g(\theta,x)=\nabla_{\theta}ln}\mathcal{p}\mathrm{(x|\theta)}
\tag{6.32}
$$
によって$\mathrm{\theta}$と同じ次元の特徴空間におけるベクトルを考えて定義されている.
したがって本問ではまずガウス分布に関して$\mathrm{\mu}$の勾配を考えることでフィッシャースコアを導出し, さらにフィッシャー情報量行列を得ることで目的とするフィッシャーカーネルを書き下す.
解答
まずガウス分布に関して$\mathrm{\mu}$の勾配を考えることでフィッシャースコアを導出していく
\begin{align*}
\mathcal{p}\mathrm{(x|\mu)=}\mathcal{N}\mathrm{(x|\mu,S)}\mathrm{=\frac{1}{\sqrt{2{\pi}S}}exp\bigr(-\frac{(x-\mu)^2}{2S}\Bigr)}\\
\end{align*}
よって$\mathrm{g(\mu,x)}$は
\begin{align*}
\mathrm{g(\mu,x)=\nabla_{\mu}ln}\mathcal{N}\mathrm{(x|\mu,S)=S^{-1}(x-\mu)}
\end{align*}
つぎにフィッシャー情報量行列を得る. (6.34)より
\begin{align*}
\mathbf{F}\mathrm{=}\mathbf{E_x}\mathrm{[g(\mu,x)g(\mu,x)^T]=S^{-1}}\mathbf{E_x}\mathrm{[(x-\mu)(x-\mu)^T]S^{-1}}
\end{align*}
$\mathbf{E_x}\mathrm{[(x-\mu)(x^\mu)^T]=S}$よりフィッシャー情報量行列は
\mathbf{F}\mathrm{=}\mathbf{S}
したがってガウス分布のフィッシャーカーネルは以下のように書き下せる.
\begin{align*}
\mathcal{k}\mathrm{(x,x')=g(\mu,x)^TS^{-1}g(\mu,x)}
\end{align*}
よって題意は示された