More than 5 years have passed since last update.

ガウス過程

Last updated at 2014-05-15Posted at 2014-04-21

先週末はカーネル関数について記述しましたが今日も続いて PRML をなぞっていきます。

RBF ネットワーク

RBF (radial basis function) は一般的によく使われる固定された基底関数です。基底関数というのは入力ベクトル {X1 ... Xn} から目的変数の値 {t1 ... tn} を得る関数 f(x) を求めることを目的とし RBF の線形結合で表すことで実現します。

\phi(x) = h(||x-\mu_j||)

RBF はその中心 μj からの動径のみに依存します。 (動径基底関数)

RBF を導入する利点は次の 2 点です。

基底関数が正規化されていると、すべての基底関数が小さな値を持つ領域を無くすメリットがあります。

ガウス過程と等価なモデルはさまざまな論文で提示されていますが RBF ネットワークもガウス過程の一種として見ることができます。

ガウス過程の基本的な考え方としてはパラメータ w の事前分布 p(w) を使うのではなく関数 y(x) の事前分布 p(y) を直接に定義してしまうというものです。

基底関数を次式で表したとき

y(x) = w^T{\phi}(x)

ここで x を入力ベクトル、 w を M 次元の重みベクトルとします。 w の事前分布として次の等方的なガウス分布を考えます。

p(w) = N(w|0,{\alpha}^{-1}I)

α は超パラメータであり分布の精度すなわち分散の逆数を表します。
w はガウス分布に従う変数集合です。
その線形結合である y 自身もガウス分布に従います。
平均と分散を求めれば y の同時分布が定まります。

一般的にガウス過程は関数 y(x) 上の確率分布として定義され、任意の集合 {x1 ... xN} に対する y(x) の値の同時分布がガウス分布に従うものとされます。

入力ベクトル x の次元が 2 次元のときにこれは ガウス確率場 (Gaussian random field) と呼ばれます。

N 個の変数 {y1 ... yN} の同時分布が平均と共分散といった 2 次までの統計量で記述されます。

y(x) の平均は 0 とすることが多いので、ガウス過程はカーネル関数として与えられます。

カーネル関数は基底関数を選択せずに直接定義することもできます。これは前回説明したとおりです。

ガウス過程での回帰・分類問題は予測分布

p(t_{N+1}|t_N)

を求めます。

ガウス過程の利点欠点は次のとおりです。

カーネル法とガウス過程（ PRML 下巻第6章）
http://naoyat.hatenablog.jp/entry/2012/11/13/220933

パターン認識と機械学習下 (ベイズ理論による統計的予測)
http://www.amazon.co.jp/dp/4621061240/