データ量が少ない場合はSVMを使ったほうがいい場合も多い。

サポートベクタマシンとはなんなのか

教師ありの機械学習手法で、実は分類だけでなく、回帰問題にも利用することができる。
とはいえ、多くの場合は分類問題に使うけれど。
n次元空間にプロットされたデータを扱います。
この、n次元ってのがイメージしづらいのですが、特徴量と考えるとわかりやすいかと。

超平面を使ってクラス分類することにしましょう。
超平面は、英語でHyper-Planeですね。

こんな感じで2値分類に、いい感じに使えます。

どうやって分類するの？

分類するときに、良い超平面はどうやって作るのか？という問題が出てきます。

超平面を追加してみました。
どれが一番良い超平面でしょうか？というと、明らかにもともとの線ですよね？

今度はどうでしょう？

各超平面から一番近い点（最近傍）との距離＝マージンといいますが、これを使って良い平面を定義していきます。
真ん中の超平面が、マージンが最長です。マージンが長いほうが良い超平面であるとします。
マージンが長い＝ロバスト性が高いといい、マージンが短い場合は誤分類の可能性がたかいと考えられます。
ここまで、直感的にわかると思います。

さて、次のケース。

青の線のほうがマージンは大きい。ですが、SVMではマージンの大きさよりも、正しい分類のほうが重要なので、ここでは、赤の線のほうがより良い超平面ということになります。

では、線形では分類できない問題の場合はどうでしょうか？
外れ値が混ざっています。

SVMは外れ値を無視して、マージンを最大化するような超平面を探します。SVMは外れ値に対してロバストです。

今度は、線形の分類はどう考えても無理な場合。

SVMの面白さは、このような問題を線形に分類できるところです。
$$z=x^2+y^2$$
zという追加の特徴量をつくって、プロットし直してみます。

zの値は累乗のため常に正。
もともとのプロットで原点に近い点のz値は小さく、遠いものはz値も大きくなります。これによって、線形に超平面を引いて2値分類ができるようになります。

このzのように、都度特徴を追加していく必要があるのでしょうか。
SVMでは、カーネルトリックと呼ばれる技法を使うため、その必要がありません。
カーネルトリックは低次元のインプットを、高次元空間にプロットし直すことができます。非線形の分類問題に便利です。

元のインプットに対する超平面は、楕円のようなかたちになります。