カーネル法の定義
データを高次元の特徴空間に写像する。
線型から非線形へ
linear regressionと同じように、線形から非線形へ拡張できる。
\\ f(x) = \sum_{k = 1} ^ d w_i \phi_i(x)
パーセプトロン法(ざっくり言えばカーネル法の線型バージョン）とは、
w ^ \ast = armgin \sum_{k = 1} ^ n l_P(w;y_i,x_i)
\\ where \ l_p(w;y_i,x_i) = max(0, -y_iw^tx_i)
これを、確率的降下勾配法を使って解を求める。
さらにreformulationして見てると、
R( \alpha)= min_{\alpha_{1:n}} \sum_{i = 1}^nmax \{ 0, - \sum_{j = 1}^n\alpha_jy_iy_jx_i^Tx_j \}
ここから線型から非線形に拡張していく。
x \mapsto \phi(x)
\\ x^Tx \mapsto \phi(x)^T\phi(x) =:k(x,x')
この$ x^Tx$の計算コストが高いので、ここでカーネルが出てくる。
カーネルの種類
Linear kernel
k(x, x^T)= x^Tx
Polynominal kernel
k(x, x^T) = (x^Tx + 1)^T
RBF
k(x, x^T) = exp(-||x - x||_2^2 / \ h^2)