はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』, 通称PRMLの演習問題の解答を記したものです. これは, 生物測定学研究室の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのもので, 匿名の有志の学生による解答をこちらのアカウントから代わりに投稿させていただいています. （なお一部数式の表現などを修正してあります.）
問題
6.11 $(6.25)$ の展開の中央の要素を, べき級数展開することによって, ガウスカーネル $(6.23)$ は, 無限次元の特徴ベクトルの内積で表せることを示せ.
参考・ガウスカーネルとは、
\begin {align*}
k(\mathbf{x},\mathbf{x'}) = \exp(\ \|\mathbf{x} - \mathbf{x'}\|^2 / 2\sigma^2).
\tag{6.23}
\end {align*}
である。
次に、
\begin {align*}
k(\mathbf{x},\mathbf{x'}) = \exp(-\mathbf{x}^\rm{T}\mathbf{x}/2\sigma^2)\exp(\ {\mathbf{x}^\rm{T}\mathbf{x'}} / \sigma^2)\exp(-(\mathbf{x'})^\rm{T}\mathbf{x'}/2\sigma^2).
\tag{6.25}
\end {align*}
である。
解法
中央の部分が無限次元であることを示して、残りの左右を組み合わせてもカーネルとして成り立つということを示す。
まず、指数関数の部分がマクローリン展開できることを示す。
\exp(x) = \sum_{n=0}^{\infty} \frac{1}{n!}x^n
また、これに $\frac{\mathbf{x}^\rm{T}\mathbf{x'}}{\sigma^2}$ を代入することで、中央の形にして
\exp \left(\frac{\mathbf{x}^\rm{T}\mathbf{x'}}{\sigma^2} \right ) = \sum_{n=0}^{\infty} \frac{1}{n!}\left(\frac{\mathbf{x}^\rm{T}\mathbf{x'}}{\sigma^2}\right )^n
となる。
このとき、$(6.16)$ （カーネルの指数もカーネル）と日本語版下巻2ページの $k(\mathbf{x},\mathbf{x'})=\mathbf{x^T}\mathbf{x}$ というカーネルが有用であることを組み合わせると、中央部がカーネルであることが分かる。
更に、$(6.14)$ より、$(6.25)$ の「（$\mathbf{x}$ の関数）（カーネル）（$\mathbf{x'}$ の関数）」がカーネルであることが分かる。
よって、$(6.23)=(6.25)$ の式がカーネルであることを示すことができた。
■