8章 サポートベクトルマシン
パターン認識学習アルゴリズムの一つである
2クラス問題の線形変別するための関数を導出する
マージン最大化するのが良い
(クラス間距離の事)
線形分離不可の場合 非線形特徴写像によって特徴空間に写像そ線形分離可能にする
そのために高次元空間内での内積計算が大変
ケーネルトリックを用いるとできます
今回は V-SVMと 1クラスSVMを扱う
8.1 サポートベクトルマシンの導出
導出のためには最大マージンの式(7.2)を使う
↓ざっくりいうとクラス群の平均値みたいなもの
SVMでは標準座標系を用いる
他クラス問題では 1 対 その他 で分類することが多い
8.1.1最適識別超平面
クラス付き学習データ $D_L={(t_i,x_i)}$
がどちらのクラスに属するかの分類をする
$|(w^Tx_i+b)|$は点と線の距離
どの点をとっても マージン(K)よりは大きい
$(w^Tx_i+b)\geq K$
これをKで割って正規化
その後$t_i$を掛けて符号を考える
$t_i(w^Tx_i+b)\geq1$
と分類がまとめられる
クラス間マージンは 各クラスのデータをｗ方向に射影した長さの差の最小値
であたえられる
$\frac{2}{||w||}$
の最大値を求める
↓
||w||
の最小値を求める
$t_i(w^Tx_i+b)\geq1$を条件とする
8.1.2 KKT条件
この最小化問題を解くために ラグランジュ関数を使う
条件↓の時(移項して0 =の形にする)
$0=g(x,y)$
$f(x,y)$の最小値は
$f(x,y)-g(x,y)$
となる
となる
∇ なぶら
特に５つ目の式は制約条件に対する者である
式8.7を書き換える
が得られる
制約条件 KTTの2から得ている
制約条件とは この問題が相対問題となる条件である。
$t_i(w^Tx_i+b)=1 $
のときにサホートベクトル（マージンを考える点）である。
サポートベクトルだけあれば計算ができる
サポートベクトルの平均をとったりすると良い
1個目は式8.8
8.2 線形分離可能でない場合の拡張
主問題 KKT条件 双対問題がこんな感じに変わる
8.3 非線形写像
例えばXORは線形識別できない
これを線形識別するために 非線形写像する。
イメージ図 線形識別できていないものが
非線形写像によって識別可能になる。
${φ(x_j)}^M_1$
を写像とする
カーネル関数で変換した先の値は
グラム行列という名前で保存される。
非線形写像で線形分離が
可能になっても時間がかかるけど
内積計算で済ませば高速な計算が可能である
そのような各関数を内積カーネルという
8.3.1 多項式カーネル
$K_p(u,v)=(a + u^Tv)^p$
内積カーネルの一種
多項式カーネルである
多項式カーネル のとき
変換後の次元はこういう風になる
二項定理と帰納法を使って証明される
$$ {}_nC_r \Leftrightarrow ( n\quad p)$$
であることに注意 二項定理の時は頻出的な表現
例えば 2次元 2乗 の時は
$_4C_2 = 6 $
8.4 ν-SVM
誤識別数で判断してた。
データ数で評価が変わっちゃう
誤識別率で判断すれば良いよね
でも
謝り率 ←→ 機械の複雑さ
トレードオフ