この投稿について

線形分離可能なデータ群に対する識別境界の決定方法の1つであるパーセプトロンの学習規則をライブラリなどを使わずにPythonで実装してみました。
Python、機械学習ともに初心者なので、良くないポイントはご指摘お願いします。

「パーセプトロンの学習規則」と並んで比較される「Widrow-Hoff（ウィドロウ・ホフ）の学習規則」については「Widrow-Hoff（ウィドロウ・ホフ）の学習規則をPythonで実装」でまとめてあります。

パーセプトロンの学習規則の理論

パーセプトロンの学習規則の概要や数式については以下のスライドにざっくりとまとめてあります（スライド途中からです）。

実装

1次元の場合

下図のような1次元上に存在し、2クラスのいずれかにに属する線形分離可能な学習データの分離境界線を求める。

実装のポイントとしては、

初期の重みベクトルはw=(0.2,0.3)とし、学習係数はρ=0.5とした
分離境界の収束判定は行わず、重みベクトルの補正（学習）は十分な回数（100回）繰り返した（本当はよくないんだろうけど、まあ機械にいっぱい仕事させるのはいいかなーと思いまして。）

実際のコードは以下のようになりました。

# coding: UTF-8
# 1次元のパーセプトロンの学習規則の実装例
import numpy as np
import matplotlib.pyplot as plt

def train(wvec, xvec, is_c1):
    low = 0.5#学習係数
    if (np.dot(wvec,xvec) > 0) != is_c1:
        if is_c1:
            wvec_new = wvec + low*xvec
        else:
            wvec_new = wvec - low*xvec
        return wvec_new
    else:
        return wvec

if __name__ == '__main__':

    data = np.array([[1.0, 1],[0.5, 1],[-0.2, 2],[-1.3, 2]])# データ群

    features = data[:,0].reshape(data[:,0].size,1)# 特徴ベクトル
    labels = data[:,1]# クラス（今回はc1=1,c2=2）
    wvec = np.array([0.2, 0.3])# 初期の重みベクトル
    is_c1s = (labels == 1)# c1かどうか booleanの配列

    xvecs = np.c_[np.ones(features.size), features]#xvec[0] = 1

    loop = 100
    for j in range(loop):
        for xvec, is_c1 in zip(xvecs, is_c1s):
            wvec = train(wvec, xvec, is_c1)

    print wvec
    print -(wvec[0]/wvec[1])

    # グラフ描写
    plt.axhline(y=0, c='gray')
    plt.scatter(features[is_c1s], np.zeros(features[is_c1s].size), c='red', marker="o")
    plt.scatter(features[~is_c1s], np.zeros(features[~is_c1s].size), c='yellow', marker="o")
    # 分離境界線
    plt.axvline(x=-(wvec[0]/wvec[1]), c='green')    
    plt.show()

学習後の重みベクトルはw=(-0.3,0.75)となる。
これをwx=0の式に代入すると識別関数はx=0.4となり、下図のように学習によってうまく線形分離できていることがわかる。

2次元の場合

下図（イメージ）のように2次元上に存在し、2クラスのいずれかに属する線形分離可能な学習データの分離境界線を求める。