この記事の内容

scikit-learnに含まれている基本的な機械学習法の覚え書きです。簡易的な使用法の羅列ですので、ご容赦ください。

教師あり学習 (この記事)
- 単回帰分析
- 重回帰分析
- ロジスティック回帰 (二値分類)
- ロジスティック回帰 (多値分類)
- ランダムフォレスト法 (分類)
- ランダムフォレスト法 (回帰)
- サポートベクタマシン（SVM）
- K近傍法 (K-NearestNeighbor)(分類)
- K近傍法 (K-NearestNeighbor)(回帰)
教師なし学習　(以下のURLにて)
- 主成分分析（PCA）
- k-means
- t-SNE

データセットのインポート

import pandas as pd
from sklearn.datasets import load_iris

iris = load_iris()
df_iris = pd.DataFrame(data=iris.data,columns=iris.feature_names)

単回帰分析

from sklearn.linear_model import LinearRegression

#インスタンスの作成
clf = LinearRegression()

#データ数ｎの場合、n×1の行列を作成する
X = df_iris['sepal length (cm)'].values.reshape(-1,1)

Y = iris.target

# 学習
clf.fit(X, Y)

# 回帰係数
print(clf.coef_)

# 切片
print(clf.intercept_)

重回帰分析

各変数がどの程度目的変数に影響しているかを偏回帰係数の大きさの比較で書くにするため正規化を行う。(normalize=True)

from sklearn.linear_model import LinearRegression

# インスタンスの作成
clf = LinearRegression(normalize=True)
X = df_iris[iris.feature_names].values
Y = iris.target

# 学習
clf.fit(X, Y)

# 回帰係数
print(clf.coef_)

# 切片
print(clf.intercept_)

ロジスティック回帰 (二値分類)

ロジスティック回帰とはベルヌーイ分布に従う統計回帰モデルの一つで、分類問題を行うためのアルゴリズムの一つ。ベルヌーイ分布とは２種類の結果のみが得られる試行の結果を０，１で表した分布。シグモイド関数を用いて、事象が起こる確率を０から１の範囲で算出する。つまり、二値分類で出力された確率をそのまま事象が起こる確率とみなせる。

LogisticRegression()	引数	説明
penalty	l1：L1正則化、l2：L2正則化	ペナルティ関数の設定
C		正則化の影響度の設定
random_state		乱数
solver	'newton-cg','lbfgs','liblinear','sag','saga'	最適化のアルゴリズム
max_iter		収束計算の最大試行回数
n_jobs		計算に使うジョブの数

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

df_iris_ = df_iris.loc[:99][:]
iris_target = iris.target[:100]

# インスタンス作成
clf = LogisticRegression(solver='liblinear')

# 説明変数
X = df_iris_[iris.feature_names].values

# 目的変数
Y = iris_target

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.3)
clf.fit(X_train, y_train)
clf.predict_proba(X_test)
print(accuracy_score(y_test,clf.predict(X_test)))

ロジスティック回帰 (多値分類)

二値分類では、シグモイド関数を１つ用意することでそれぞれのクラスに属する確率を１以下で表した。多値分類では、入力値☓クラス属性の行列を作成し、各クラスごとの確立値を算出する。
コードは同じですが、中で行っている計算は二値分類と多値分類では異なります。

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# インスタンス作成
clf = LogisticRegression(solver='liblinear')

# 説明変数
X = df_iris[iris.feature_names].values

# 目的変数
Y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.3)
clf.fit(X_train, y_train)
clf.predict_proba(X_test)

ランダムフォレスト法 (分類)

ランダムフォレストは複数のデータの多数決や平均値をもとに少しずつ違う決定木を集めたアンサンブル学習の一つです。つまり、精度の低い複数の結果を組み合わせることで、精度を向上させる機械学習法です。ランダムフォレストはscikit-learn.ensembleの中から分類問題の場合はRandomForestClassifier、回帰問題の場合はRandomForestRegressorというモジュールをインポートします。データ内の重要な特徴量をfeature_importances_で抽出することができる。

	引数	説明
n_estimators		決定木の個数を指定
criterion	'gini-cg', 'entropy'	決定木のデータ分割の指標
max_depth		決定木の深さの最大値を指定
n_jobs		計算に使うジョブの数
random_state		乱数
verbose	デフォルトは0	モデル構築の過程のメッセージを出すか

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

clf = RandomForestClassifier(random_state=0)
X = df_iris[iris.feature_names].values
Y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.2,random_state=0)

clf.fit(X_train, y_train)
print(accuracy_score(y_test,clf.predict(X_test)))

# 特徴重要度
feature_importance = pd.DataFrame({'feature':iris.feature_names,'importances':clf.feature_importances_}).sort_values(by="importances", ascending=False)

ランダムフォレスト法 (回帰)

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

clf = RandomForestRegressor(random_state=0)
df_iris_ = df_iris.loc[:99][:]
X = df_iris_[iris.feature_names].values
Y = iris.target[:100]

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.2,random_state=0)

clf.fit(X_train, y_train)


# 特徴重要度
feature_importance = pd.DataFrame({'feature':iris.feature_names,'importances':clf.feature_importances_}).sort_values(by="importances", ascending=False)

サポートベクタマシン (SVM)

サポートベクタマシンはクラスを明確に分割する境界線を引くためのアルゴリズムで、サポートベクターとは「データを分割する直線に最も近いデータ」です。「マージン最大化」と呼ばれる考え方を使い、正しい分類基準を見つけます。

scikit-learnに含まれるSVMの種類

分類問題（Support Vector Classification）
- SVC（C-Support Vector Classification）← これだけやります
- LinearSVC （Linear Support Vector Classification）
- NuSVC （Nu-Support Vector Classification）
回帰問題（Support Vector Regression）
- SVR
- LinearSVR
- NuSVR
異常検知のためのSVM
- OneClassSVM

SVC()	引数	説明
C		正則化のパラメータ
kernel	'linear','poly','rbf','sigmoid','precomputed'	アルゴリズムで使用するカーネルタイプ
degree	kernel='poly'の時のみ有効	多項式カーネル関数の次数
gamma		カーネルがrbf、poly、sigmoidの時のカーネル係数
random_state		乱数
verbose	デフォルトは0	モデル構築の過程のメッセージを出すか

クラスのメソッドはロジスティック回帰などと同様。

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

clf = SVC(random_state=0) 
X = df_iris[iris.feature_names].values
Y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.3,random_state=0)

clf.fit(X_train, y_train)
clf.predict(X_test)

sklearn.model_selectionのGridSearchCVモジュールを使用することで、パラメータを細かく設定することができる。

K近傍法 (分類)

学習データをベクトル空間上に予めプロットしておき、未知のデータをそのベクトル空間にプロットする。その点の近傍にあるK個の学習データの多数決から、未知データの属するクラスを推定する。
scikit-learn.neighborsの中から分類問題はKNeighborsClassifier、回帰問題はKNeighborsRegressorというモジュールを使用します。

SVC()	引数	説明
n_neighbors	デフォルトは5	近傍オブジェクト数
weights	'uniform','distance'(デフォルトはuniform)	重み
algorithm	'ball_tree','kd_tree','brute','auto'(デフォルトはauto)	アルゴリズム選択
leaf_size	リーフサイズ	デフォルトは30
n_jobs		計算に使うジョブの数
計算に使うジョブの数	デフォルトは0	モデル構築の過程のメッセージを出すか

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

clf = KNeighborsClassifier(n_neighbors=3)
X = df_iris[iris.feature_names].values
Y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.3,random_state=0)

clf.fit(X_train, y_train)

print(accuracy_score(y_test,clf.predict(X_test)))

K近傍法 (回帰)

from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

clf = KNeighborsRegressor(n_neighbors=3)
df_iris_ = df_iris.loc[:99][:]
X = df_iris_[iris.feature_names].values
Y = iris.target[:100]

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.3,random_state=0)

clf.fit(X_train, y_train)

最後に

私自身の解析法の使用方法のまとめを記しました。詳しい解説は、参考サイトや書籍にて確認をお願いいたします。

参考にしたサイト