Help us understand the problem. What is going on with this article?

Pythonで学ぶパーセプトロンの学習実験 

1.パーセプトロンの学習規則

パーセプトロンの学習規則とは,線形識別関数の重みを学習によって求める方法である.パターンは,特徴空間上の一点で表現される.例えば,2クラスで考えた場合に,特徴空間上に分布している点を,線形識別関数によって生成される超平面によって,2つに分離できないかという話である.2つに分離するためには,線形識別関数の重みを調整しなければならない.その調整が学習となる.つまり,2つに分離するための超平面を,学習によって作り出す.
まず,クラスをCi(i=1...c),xを入力パターン,次元数をdとする.クラスCiの線形識別関数gi(x)は,

g_i(x) = ω₀+\sum_{j=1}^{d} ω_jx_j

今回は,簡略化のため2クラスで考える,クラスをC₁,C₂とする.また,gi(x)が最大であるとき,xの属するクラスはCiだと仮定する(線形識別関数によっては,最小が識別結果にもなり得るので,ここでは最大が識別結果になることを前置きした).
このとき,入力パターンがクラスC₁のとき,g₁(x)>g₂(x)である.そして,入力パターンがクラスC₂のとき,g₁(x)<g₂(x)である.
よって,識別関数gi(x)を1つにまとめて,

g(x) = g_1(x)-g_2(x)
     =ω'₀+\sum_{j=1}^{d} ω'_jx'_j

            ※g(x)>0のとき,x∊C₁.g(x)<0のとき,x∊C₂
とした.
このg(x)におけるωが重みであり,この重みを最適な値にすることが学習の目的である.
以下の手順で,重みは求める.(ω'₀, ω'₁,...,ω'd)を重みベクトルWと表現する.
①まず,重みを適当に設定する
②学習パターンを選ぶ.(学習パターンとは,特徴ベクトルxとxが属するクラスCiの組)
③x∊C₁がg(x)<0のとき,重みベクトルWに学習パターンx(特徴ベクトル)に学習係数p掛けた値を足す.
 x∊C₂がg(x)>0のとき,重みベクトルWに学習パターンx(特徴ベクトル)に学習係数p掛けた値を引く.
④手順②,③を全ての学習パターンに行う.
⑤全ての学習パターンで正しい識別結果が得られたら終了.1つでも誤りがあれば手順②に戻る.

このようにして重みベクトルWが得られる.これをg(x)に代入した線形識別関数は,特徴空間を超平面によってクラスごとに分離する.ただし,線形分離可能な分布に限る,なぜなら,パーセプトロンの学習規則は,線形分離可能である場合に,重みが収束するからである(パーセプトロンの収束定理).

2.Pythonで実装

まず,学習パターンの特徴ベクトルは,実行側の入力としても良かったが,線形識別可能な分布でないと,パーセプトロンの学習規則を適用できないので,あらかじめ設定しておいた.以下の通りである.
クラスC₁:x₁=(1,1,1,1),x₂=(1,0,1,1),x₃=(1,1,0,1),x₄=(1,1,1,0)
クラスC₂:x₅=(1,0,0,0),x₆=(1,1,0,0),x₇=(1,0,1,0),x₈=(1,0,0,1)
各特徴ベクトルの0番目の要素は全て1となっているが,これは線形識別関数g(x)のω₀に掛けてある値である.実質,1番目の要素以降の3つが特徴ベクトルであり,特徴空間も3次元である(厳密に言えば,1番目の要素を含んだ4次元のベクトルを拡張特徴ベクトルという.本来,特徴ベクトル(拡張が付かない)とは1番目からd番目までのベクトルを言う).3次元の特徴空間なので,2次元の超平面によって2つのクラスが分離されれば成功である.また,学習規則における学習係数は1とした.
まずは,学習パターンの特徴ベクトルは以下のように特徴空間に分布している.
(赤:クラスC₁,青:クラスC₂)
image.png
学習規則をPythonで実装した.コードは以下の通りである.

perceptron_learning.py
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

#学習パターンの特徴ベクトル
x = np.array([[1, 1, 1, 1], [1, 0, 1, 1], [1, 1, 0, 1], [1, 1, 1, 0], [1, 0, 0, 0], [1, 1, 0, 0], [1, 0, 1, 0], [1, 0, 0, 1]])

#重みベクトル
w = np.array([-5, 1, 1, 1])

#パーセプトロンの学習規則
while True:
    judge = 0
    count = 1;
    for data in x:
        print(w)
        if count <= x.shape[0]/2:
            if np.dot(data, w)<=0:
                w += data
                judge = 1
        else:
            if np.dot(data, w)>=0:
                w -= data
                judge = 1
        count += 1
    print()
    if judge == 0:
        break


#線形識別関数
def f(x1, x2):
    return (w[1]*x1+w[2]*x2+w[0])/(-w[3])

x1, x2 = np.mgrid[-1:2:0.1, -1:2:0.1]
x3 = f(x1, x2)

#特徴空間の設定
fig = plt.figure()
ax = fig.add_subplot(111, projection="3d", facecolor="w")
ax.set_xlabel('x1')
ax.set_ylabel('x2')
ax.set_zlabel('x3')
ax.set_title("feature space")

#線形識別関数の描画
ax.plot_surface(x1, x2, x3, cmap='BuGn')

i = 1

#学習パターンの描画
for point in x:
    if i<=x.shape[0]/2:
        ax.scatter(point[1], point[2], point[3], c='red')
    else:
        ax.scatter(point[1], point[2], point[3], c='blue')
    i += 1

#特徴空間を表示
plt.show()

実行した結果,特徴空間は以下のようになった.
image.png
上図のように,赤と青の点が緑色の面(超平面)によって,分離されている.よって,学習規則で重みが求まったことがわかる.

3.参考文献

[1]石井健一郎,上田修功,前田英作,村瀬洋.「わかりやすいパターン認識 第2版」.オーム社,2019.

Castiel
コンピュータビジョン,機械学習に興味があります.
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした