8章　サポートベクトルマシン

パターン認識学習アルゴリズムの一つである

2クラス問題の線形変別するための関数を導出する

マージン最大化するのが良い　
　(クラス間距離の事)

線形分離不可の場合　非線形特徴写像によって特徴空間に写像そ線形分離可能にする

そのために高次元空間内での内積計算が大変
ケーネルトリックを用いるとできます
　
今回は　V-SVMと　1クラスSVMを扱う

8.1 サポートベクトルマシンの導出

導出のためには最大マージンの式(7.2)を使う
↓ざっくりいうとクラス群の平均値みたいなもの

SVMでは標準座標系を用いる
他クラス問題では　1　対　その他　で分類することが多い

###　8.1.1最適識別超平面
クラス付き学習データ　$D_L={(t_i,x_i)}$
がどちらのクラスに属するかの分類をする

$|(w^Tx_i+b)|$は点と線の距離
どの点をとっても　マージン(K)よりは大きい
$(w^Tx_i+b)\geq K$
これをKで割って正規化
その後$t_i$を掛けて符号を考える

$t_i(w^Tx_i+b)\geq1$
と分類がまとめられる

クラス間マージンは　各クラスのデータをｗ方向に射影した長さの差の最小値

であたえられる

$\frac{2}{||w||}$
の最大値を求める
↓
||w||
の最小値を求める
$t_i(w^Tx_i+b)\geq1$を条件とする

この最小化問題を解くために　ラグランジュ関数を使う

条件↓の時(移項して0 =の形にする)
$0=g(x,y)$
$f(x,y)$の最小値は
$f(x,y)-g(x,y)$
となる

となる

∇　なぶら

特に５つ目の式は制約条件に対する者である

式8.7を書き換える

が得られる　

制約条件　KTTの2から得ている
制約条件とは　この問題が相対問題となる条件である。

$t_i(w^Tx_i+b)=1 $
のときにサホートベクトル（マージンを考える点）である。
サポートベクトルだけあれば計算ができる
サポートベクトルの平均をとったりすると良い

1個目は式8.8

主問題　KKT条件　双対問題がこんな感じに変わる

　
例えばXORは線形識別できない
これを線形識別するために　非線形写像する。

イメージ図　線形識別できていないものが
非線形写像によって識別可能になる。

${φ(x_j)}^M_1$
を写像とする

カーネル関数で変換した先の値は
グラム行列という名前で保存される。

非線形写像で線形分離が
可能になっても時間がかかるけど
内積計算で済ませば高速な計算が可能である
そのような各関数を内積カーネルという

$K_p(u,v)=(a + u^Tv)^p$
内積カーネルの一種
多項式カーネルである

多項式カーネル　のとき
変換後の次元はこういう風になる

二項定理と帰納法を使って証明される

$$ {}_nC_r　\Leftrightarrow ( n\quad p)$$
であることに注意　二項定理の時は頻出的な表現
例えば　2次元　2乗　の時は

$_4C_2 = 6 $

誤識別数で判断してた。
データ数で評価が変わっちゃう
誤識別率で判断すれば良いよね
でも
謝り率　←→　機械の複雑さ
トレードオフ