31
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

ガウス過程

先週末はカーネル関数について記述しましたが今日も続いて PRML をなぞっていきます。

RBF ネットワーク

RBF (radial basis function) は一般的によく使われる固定された基底関数です。基底関数というのは入力ベクトル {X1 ... Xn} から目的変数の値 {t1 ... tn} を得る関数 f(x) を求めることを目的とし RBF の線形結合で表すことで実現します。

\phi(x) = h(||x-\mu_j||)

RBF はその中心 μj からの動径のみに依存します。 (動径基底関数)

RBF を導入する利点は次の 2 点です。
* 正確に目的変数の値を再現する関数補間 (過学習に注意)
* 入力変数にノイズが含まれる場合の最適化

基底関数が正規化されていると、すべての基底関数が小さな値を持つ領域を無くすメリットがあります。

ガウス過程

ガウス過程と等価なモデルはさまざまな論文で提示されていますが RBF ネットワークもガウス過程の一種として見ることができます。

ガウス過程の基本的な考え方としてはパラメータ w の事前分布 p(w) を使うのではなく関数 y(x) の事前分布 p(y) を直接に定義してしまうというものです。

基底関数を次式で表したとき

y(x) = w^T{\phi}(x)

ここで x を入力ベクトル、 w を M 次元の重みベクトルとします。 w の事前分布として次の等方的なガウス分布を考えます。

p(w) = N(w|0,{\alpha}^{-1}I)

α は超パラメータであり分布の精度すなわち分散の逆数を表します。
w はガウス分布に従う変数集合です。
その線形結合である y 自身もガウス分布に従います。
平均と分散を求めれば y の同時分布が定まります。

一般的にガウス過程は関数 y(x) 上の確率分布として定義され、任意の集合 {x1 ... xN} に対する y(x) の値の同時分布がガウス分布に従うものとされます。

入力ベクトル x の次元が 2 次元のときにこれは ガウス確率場 (Gaussian random field) と呼ばれます。

N 個の変数 {y1 ... yN} の同時分布が平均と共分散といった 2 次までの統計量で記述されます。

y(x) の平均は 0 とすることが多いので、ガウス過程はカーネル関数として与えられます。

カーネル関数は基底関数を選択せずに直接定義することもできます。これは前回説明したとおりです。

ガウス過程での回帰・分類問題は予測分布

p(t_{N+1}|t_N)

を求めます。

ガウス過程の利点欠点は次のとおりです。
* 利点 : 無限個の基底関数に対応でき、予測の分散を求めることができる
* 欠点 : O(N^3) の計算量が必要となる (大きなデータに不向き)

参考

[PRML] ガウス過程についてのメモ
http://d.hatena.ne.jp/syou6162/20091011/1255189429

カーネル法とガウス過程( PRML 下巻 第6章)
http://naoyat.hatenablog.jp/entry/2012/11/13/220933

パターン認識と機械学習 下 (ベイズ理論による統計的予測)
http://www.amazon.co.jp/dp/4621061240/

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Sign upLogin
31
Help us understand the problem. What are the problem?