多層パーセプトロンを１から作ってみた

この記事は，Pythonそのものの使い方かDeepLearningの仕組みまで，1から細かく学習した際のメモ書きとスライドのまとめです．

多層パーセプトロン（AND真偽値表の学習）

今回は，多層パーセプトロン（Perceptron）を用いて，AND真偽値表の出力を学習させることを目指す．AND真偽値表とは，入力の2つが共に1である時のみ1を出力するものである．
このAND真偽値表は，前回の1から学ぶDeepLearning (1) で扱ったように，単純パーセプトロンで学習ができたものであった．
今回は，多層パーセプトロンを学習することを第一の目的として，内容の同じ学習を行い，単純パーセプトロンとの違いを見てみることにする．

x1	x2	y
0	0	0
0	1	0
1	0	0
1	1	1

import numpy as np

# 活性化関数の定義(Sigmoid関数)
def sigmoid(x):
    return 1/(1+np.exp(-x))
def sigmoid_grad(x):
    return (1.0 - sigmoid(x))*sigmoid(x)

class MLP:
    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.1):
        self.w1 = weight_init_std * np.random.randn(input_size, hidden_size)
        self.w2 = weight_init_std * np.random.randn(hidden_size, output_size)
        self.b1 = 0.0
        self.b2 = 0.0
        self.grads = {}

    def forward(self, x): # x : 入力
        self.a1 = np.dot(x, self.w1) + self.b1
        self.z1 = sigmoid(self.a1)
        self.a2 = np.dot(self.z1, self.w2) + self.b2
        self.y = sigmoid(self.a2)
        return self.y

    def backward(self, x, t): # x : 入力，y : 教師
        
        # 誤差の算出
        l = -1 * (t - self.y)
        d_a2 = sigmoid_grad(self.a2) * l
        self.grads['w2'] = np.dot(self.z1.T, d_a2)
        self.grads['b2'] = d_a2

        d_z1 = np.dot(d_a2, self.w2.T)
        d_a1 = d_z1 * sigmoid_grad(self.a1)
        self.grads['w1'] = np.dot(x.T, d_a1)
        self.grads['b1'] = d_a1
    
    def update_parameters(self, lr = 0.1): # lr : 学習率
        
        self.w1 -= lr * self.grads['w1']
        self.w2 -= lr * self.grads['w2']

        self.b1 -= lr * self.grads['b1']
        self.b2 -= lr * self.grads['b2']


def display_model_parameters(model):
    print("w1 : ", model.w1)
    print("w2 : ", model.w2)
    print("b1 : ", model.b1)
    print("b2 : ", model.b2)


if __name__ == '__main__':
    
    # AND回路の学習を行うための入力データと教師ラベルの定義
    input_data = np.array([[0,0],[0,1],[1,0],[1,1]])
    label_data = np.array([0,0,0,1])

    # モデルの作成
    input_size = 2
    hidden_size = 3
    output_size = 1

    model = MLP(input_size, hidden_size, output_size)
    display_model_parameters(model)

    # ハイパーパラメータの指定
    num_train_data = 4
    epoch_num = 5000
    lerning_rate = 0.1

    for i in range(1,epoch_num+1,1):
        sum_loss = 0.0
        for j in range(0,num_train_data,1):
            x = input_data[j:j+1]
            t = label_data[j:j+1]

            y_pred = model.forward(x)
            model.backward(x, t)
            model.update_parameters(lerning_rate)

            sum_loss = np.power(t - y_pred, 2)
        
        print("epoch : {}, loss : {}".format(i, sum_loss/4))
    
    display_model_parameters(model)

    #正解率の算出
    cnt_correct = 0
    cnt_all = 0
    tolerance = 0.05 #許容範囲の設定
    for i in range(0,len(input_data)):
        y = model.forward(input_data[i])
        print("input_data : {}, y : {}".format(input_data[i], y))
        label = label_data[i]
        if  label-tolerance < y and y < label+tolerance:
            cnt_correct += 1
        cnt_all += 1
      
    accuracy = cnt_correct/cnt_all
    print("accuracy : ", accuracy)

実行結果

epoch : 5000, loss : [[0.00178896]]
w1 :  [[-2.6255562  -2.0996942  -1.82297711]
 [-2.6269102  -1.89913472 -2.03126441]]
w2 :  [[-5.08765545]
 [-3.5903548 ]
 [-3.41550001]]
b1 :  [[3.23467422 2.07894497 1.93356411]]
b2 :  [[3.87595026]]
input_data : [0 0], y : [[0.0007504]]
input_data : [0 1], y : [[0.04749434]]
input_data : [1 0], y : [[0.04750903]]
input_data : [1 1], y : [[0.91554948]]
accuracy :  0.75

単純パーセプトロン（前回プログラム）の実行結果

epoch : 5000, loss : 0.0019097360320011203
w :  [5.82859069 5.82738022] b :  -9.028217956770213
input_data : [0 0], y : 0.00011996171284962275
input_data : [0 1], y : 0.03913420962830516
input_data : [1 0], y : 0.039179751963228676
input_data : [1 1], y : 0.9326264954936772
accuracy :  1.0

同じ学習率，エポック数で行った結果だが，学習損失を示したものの最後をみると，中間層を増やした多層パーセプトロンの方が，良くない結果になっていることが確認できる．

実験前までは，単純に層を増やした方が，柔軟に対応できるようになり良い結果が得られると考えていたが，この予想に反する結果になった．
そこで，学習で調整するパラメータが多いのが主な要因であると考えた．エポック数を倍の10000にして再度実行して挙動をみてみることにする．

エポック数を10000に変更して再度実行

epoch : 10000, loss : [[0.00058127]]
w1 :  [[-2.93745684 -1.50381849 -2.61486656]
 [-3.05729588 -1.25551698 -2.56420406]]
w2 :  [[-5.95868659]
 [-1.94927261]
 [-4.95068125]]
b1 :  [[3.85144893 0.67567557 3.15570244]]
b2 :  [[4.40249983]]
input_data : [0 0], y : [[0.00056819]]
input_data : [0 1], y : [[0.02691188]]
input_data : [1 0], y : [[0.02732029]]
input_data : [1 1], y : [[0.95180993]]
accuracy :  1.0

単純パーセプトロン（前回プログラム）も同様にエポック数を10000にて再度実行

epoch : 10000, loss : 0.000508028532782091
w :  [7.20750455 7.20687697] b :  -11.097796727457217
input_data : [0 0], y : 1.5145427708191534e-05
input_data : [0 1], y : 0.020017658200903544
input_data : [1 0], y : 0.020029973106389383
input_data : [1 1], y : 0.9649934048107632
accuracy :  1.0

同じエポック数では，また多層パーセプトロンの学習結果の方が劣った結果になった．
やはり，単純パーセプトロンで解ける問題は，単純パーセプトロンで解いた方が効率も精度も良いということなのか...