0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

PRML 演習問題 6.14 解答

Posted at

##問題

平均$\mathbf{\mu}$と共分散$\mathbf{S}$を持つガウス分布$\mathcal{p}\mathrm{(x|\mu)=}\mathcal{N}\mathrm{(x|\mu,S)}$に対して(6.33)で定義されるフィッシャーカーネルの具体的な形式を導け.

\begin{align*}
\mathcal{k}\mathrm{(x,x')=g(\theta,x)^TF^{-1}g(\theta,x)}
\tag{6.33}
\end{align*}

なお$\mathbf{F}$はフィッシャー情報量行列と呼ばれ以下の(6.34)で定義される.

\begin{align*}
\mathbf{F}\mathrm{=}\mathbf{E_x}\mathrm{[g(\theta,x)g(\theta,x)^T]}
\tag{6.34}
\end{align*}

##方針
(6.33)はフィッシャースコアと呼ばれる$\mathrm{\theta}$についての勾配
$$
\mathrm{g(\theta,x)=\nabla_{\theta}ln}\mathcal{p}\mathrm{(x|\theta)}
\tag{6.32}
$$
によって$\mathrm{\theta}$と同じ次元の特徴空間におけるベクトルを考えて定義されている.

したがって本問ではまずガウス分布に関して$\mathrm{\mu}$の勾配を考えることでフィッシャースコアを導出し, さらにフィッシャー情報量行列を得ることで目的とするフィッシャーカーネルを書き下す.

##解答

まずガウス分布に関して$\mathrm{\mu}$の勾配を考えることでフィッシャースコアを導出していく

\begin{align*}
\mathcal{p}\mathrm{(x|\mu)=}\mathcal{N}\mathrm{(x|\mu,S)}\mathrm{=\frac{1}{\sqrt{2{\pi}S}}exp\bigr(-\frac{(x-\mu)^2}{2S}\Bigr)}\\
\end{align*}

よって$\mathrm{g(\mu,x)}$は

\begin{align*}
\mathrm{g(\mu,x)=\nabla_{\mu}ln}\mathcal{N}\mathrm{(x|\mu,S)=S^{-1}(x-\mu)}
\end{align*}

つぎにフィッシャー情報量行列を得る. (6.34)より

\begin{align*}
\mathbf{F}\mathrm{=}\mathbf{E_x}\mathrm{[g(\mu,x)g(\mu,x)^T]=S^{-1}}\mathbf{E_x}\mathrm{[(x-\mu)(x-\mu)^T]S^{-1}}
\end{align*}

$\mathbf{E_x}\mathrm{[(x-\mu)(x^\mu)^T]=S}$よりフィッシャー情報量行列は

\mathbf{F}\mathrm{=}\mathbf{S}

したがってガウス分布のフィッシャーカーネルは以下のように書き下せる.

\begin{align*}
\mathcal{k}\mathrm{(x,x')=g(\mu,x)^TS^{-1}g(\mu,x)}
\end{align*}

よって題意は示された

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?