サポートベクターマシン（SVM）とは
マージンを最大化という基準をもちいて決定境界を得るモデル。
サポートベクターマシンは分類と回帰のどちらの問題にも利用することができ、このアルゴリズムでは、決定境界は線形になる。
決定境界から一番近いデータまでの距離をマージンと呼び、マージンが最大になるように決定境界の位置が決められている。
決定境界の決め方には「ソフトマージン」と「ハードマージン」の２種類がある。
- ハードマージン
データがマージンの内側に入ることを許容しない。
ハードマージンでは一つでも外れ値があるとそのデータの影響を大きく受けてしまう。
- ソフトマージン
データがマージンの内側に入ることを許容する。
ソフトマージンでは全体のデータの分布を見てバランス良く決定境界を決めるため、外れ値の影響は小さくなる。
マージン最大化のアルゴリズム
\frac{1}{マージン}+C×誤判別数\\
C:誤判別の許容度
Cの値が小さい場合には、決定境界の内側にあるデータ数は増え、Cの値が限りなく大きい場合には、ハードマージンとなる。