今回はサポートベクタマシン（分類）の実装をまとめていきます。
※以降、SVMと省略することがあります。
##■ サポートベクタマシンの手順
次の7つのSTEPで進めます。
- モジュールの用意
- データの準備
- データの可視化
- モデルの作成
- モデルのプロット
- 分類を予測
- モデルの評価
##1. モジュールの用意
最初に、必要なモジュールをインポートしておきます。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# データセットを読み込むモジュール
from sklearn.datasets import load_iris
# 標準化（分散正規化）を行うモジュール
from sklearn.preprocessing import StandardScaler
# 訓練データとテストデータを分割するモジュール
from sklearn.model_selection import train_test_split
# サポートベクトルマシンを実行するモジュール
from sklearn.svm import SVC
# 分類の評価を行うモジュール
from sklearn.metrics import classification_report
##2. データの準備
今回はirisデータセットを使って、二値分類をしていきます。
最初にデータの取得をし、標準化を行ってから分割します。
# irisデータセットの読み込み
iris = load_iris()
# 目的変数と説明変数に分ける
X, y = iris.data[:100, [0, 2]], iris.target[:100]
# 標準化（分散正規化）
std = StandardScaler()
X = std.fit_transform(X)
# 訓練データとテストデータに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
二値分類を行うために、データセットを100行目まで（Setosa・Versicolor のみ）と指定しています。
またプロットしやすくするために、説明変数も2つに絞っています。（Sepal Length・Petal Lengh のみ）
標準化は、例えば2桁と4桁の特徴量（説明変数）があった際に、後者の影響が大きくなってしまうため
全ての特徴量に対して平均を0・分散を1にして、スケールを揃えています。
##3. データの可視化
SVMで分類をする前のデータをプロットして見ておきます。
# 描画オブジェクトとサブプロットの作成
fig, ax = plt.subplots()
# Setosa のプロット
ax.scatter(X_train[y_train == 0, 0], X_train[y_train == 0, 1],
marker = 'o', label = 'Setosa')
# Versicolor のプロット
ax.scatter(X_train[y_train == 1, 0], X_train[y_train == 1, 1],
marker = 'x', label = 'Versicolor')
# 軸ラベルの設定
ax.set_xlabel('Sepal Length')
ax.set_ylabel('Petal Length')
# 凡例の設定
ax.legend(loc = 'best')
plt.show()
Setosa (y_train ==0) に対応する特徴量（0：Sepal Lengh を横軸, 1: Petal Length を縦軸）でプロット
Versicolor (y_train ==1) に対応する特徴量（0：Sepal Lengh を横軸, 1: Petal Length を縦軸）でプロット
＜出力結果＞
##4. モデルの作成
最初にSVMの実行関数（インスタンス）を作成し、訓練データに当てはめます。
# インスタンスを作成
svc = SVC(kernel = 'linear', C = 1e6)
# 訓練データからモデルを作成
svc.fit(X_train, y_train)
今回はすでに線形分離（1本の直線で分ける）が可能なので、引数を kernel = 'linear' に設定しています。
また C はハイパーパラメータで、出力数値やプロットを見ながら自身で調整していくものです。
##5. モデルのプロット
訓練データからサポートベクタマシンのモデルが作成できたので
どのように分類ができているのか、プロットして確認します。
前半は、先ほどの散布図のコードと全く同じです。
# 描画オブジェクトとサブプロットの作成
fig, ax = plt.subplots()
# Setosa のプロット
ax.scatter(X_train[y_train == 0, 0], X_train[y_train == 0, 1],
marker = 'o', label = 'Setosa')
# Versicolor のプロット
ax.scatter(X_train[y_train == 1, 0], X_train[y_train == 1, 1],
marker = 'x', label = 'Versicolor')
ax.set_xlabel('Sepal Length')
ax.set_ylabel('Petal Length')
ax.legend(loc = 'upper left')
# ここから下は、他データの場合でもそのままペーストして毎回流用できます。（数値の微調整は必要）
# 決定境界（直線）のプロット範囲を指定
xmin = -2.0
xmax = 2.5
ymin = -1.5
ymax = 1.8
# 決定境界とマージンをプロット
xx, yy = np.meshgrid(np.linspace(xmin, xmax, 100), np.linspace(ymin, ymax, 100))
xy = np.vstack([xx.ravel(), yy.ravel()]).T
p = svc.decision_function(xy).reshape(100, 100)
ax.contour(xx, yy, p, colors = 'k', levels = [-1, 0, 1], alpha = 1,
linestyles = ['--', '-', '--'])
# サポートベクタをプロット
ax.scatter(svc.support_vectors_[:, 0], svc.support_vectors_[:, 1],
s = 250, facecolors = 'none', edgecolors = 'black')
plt.show()
alpha：直線の濃さ
s：サポートベクタ（○）の大きさ
＜出力結果＞
##6. 分類を予測
モデルが完成したので、分類の予測をしていきます。
# 分類結果を予測する
y_pred = svc.predict(X_test)
# 予測値と正解値を出力
print(y_pred)
print(y_test)
＜出力結果＞
# 予測値と正解値を比較してみる
y_pred: [0 1 1 1 0 0 1 0 1 0 0 1 0 0 0 0 0 0 1 1 1 0 0 1 0 0 1 1 1 1]
y_test: [0 1 1 1 0 0 1 0 1 0 0 1 0 0 0 0 0 0 1 1 1 0 0 1 0 0 1 1 1 1]
0：Setosa 1：Versicolor
今回の場合は全て一致（正解）していることが分かります。
##7. モデルの評価
今回は分類（二値分類）となるので、混同行列を用いた適合率・再現率・F値で評価を行います。
# 適合率、再現率、F値を出力
print(classification_report(y_test, y_pred))
＜出力結果＞
以上より、Setosa と Versicolor における分類の評価を行うことができました。
##■ 最後に
SVMでは上記1～7の手順をもとに、モデルの作成・評価を行っていきます。
今回は初学者の方向けに、実装（コード）のみまとめさせていただきましたが
今後タイミングを見て、理論（数式）についても記事を作成していければと思います。
ご精読いただき、ありがとうございました。
参考文献：Pythonによるあたらしいデータ分析の教科書
（Python 3 エンジニア認定データ分析試験 主教材）