ゼロから作るディープラーニング 2-3章 まとめ パーセプトロンとニューラルネットワーク

■背景・目的

• 背景
  • ディープラーニングの仕組みを構造的に理解し、ディープラーニングのすごさを自分なりに要点を絞って、整理したい
• 目的
  • 2-3章ではパーセプトロンとニューラルネットワークの違い、ニューラルネットワークの強みがまとめられるので、できるだけ短い文章で本質をまとめる

■要点

• パーセプトロンとは何か

  • 概要
    • 複数の信号を入力として受け取り一つの信号を出力するもの
  • 構成要素
    • 入力値
      • 入力データ
    • 重み
      • 入力の重要度をコントロールするパラメータ
    • バイアス
      • 出力信号が１を出力する度合いを調整するパラメータ
    • 出力
      • 出力データ
  • パーセプトロンの限界
    • 直線でしか、データを分離することができない（XORゲートは実装できない）

• パーセプトロンの課題を乗り越えた「ニューラルネットワーク」とは

  • そもそもニューラルネットワークを使う理由
    • 自動で重みを設定してくれるから。例えるなら、自分で勝手に勉強してくれる秀才君（ええ、私の方でやっておきました）
      • それに対してパーセプトロンは、重みは人間が与える必要がある。例えるなら、指示待ち人間（えっと次は何すればいいですか）
  • 概要
    • ニューラルネットワークは入力層、中間層、出力層で構成される
  • 活性化関数とは
    • 入力信号の総和を出力信号に変換するもの
    • 関数一覧と比較
      • 一覧（以下は下の実装パートで実装する）
        • シグモイド関数
        • ステップ関数
        • RELU関数
        • 恒等関数
      • 比較
        • シグモイド関数とステップ関数の比較
          • 相違点
            • 滑らかさ
              • シグモイド関数が入力に対して連続的に出力が変化する（つまり滑らか）に対して、ステップ関数は0を境に断絶的に出力が変わる
            • 出力内容
              • 両者とも出力を0から1の間に押し込める
          • 共通点
            • 両者が非線形性を持っているところ
  • 出力層の設計
    • 分類と回帰予測において出力層の活性化関数を選択する
      • 分類
        • ソフトマックス関数
      • 回帰
        • 恒等関数
          • 入力信号をそのまま出力するだけ

■実装内容

活性化関数の実装

• シグモイド関数

sigmoid.py

def sigmoid(x):
    return 1/(1+np.exp(-x))

• ステップ関数

step.py

#0より大きければ、1を返し、0以下であれば、0を返す
def step_function(x):
    y=x>0
    return y.astype(np.int)

• RELU関数

#入力が0を超えていれば、その入力をそのまま出力し、0以下ならば0を出力する
def relu(x):
    return np.maximum(0,x)

• 恒等関数

#入力値をそのまま出力する
def identify_function(x):
    return x

• ソフトマックス関数

def softmax(a):
    c=np.max(a)
    exp_a=np.exp(a-c)
    sum_exp_a=np.sum(exp_a)
    y=exp_a/sum_exp_a
    return y

３層のニューラルネットワークの実装

＃重みとバイアスの初期化し、returnで配列として返す
def init_work():
    network={}
    network['w1']=np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
    network['b1']=np.array([0.1,0.2,0.3])
    network['w2']=np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
    network['b2']=np.array([0.1,0.2])
    network['w3']=np.array([[0.1,0.3],[0.2,0.4]])
    network['b3']=np.array([0.1,0.2])

    return network

＃init_workで定義した入力信号が出力信号へと変換されるプロセス
def forward(network,x):
    w1,w2,w3=network['w1'],network['w2'],network['w3']
    b1,b2,b3=network['b1'],network['b2'],network['b3']

    a1=np.dot(x,w1)+b1
    z1=sigmoid(a1)
    a2=np.dot(z1,w2)+b2
    z2=sigmoid(a2)
    a3=np.dot(z2,w3)+b3
    y=identify_function(a3)

    return y

#ネットワークの実装
network=init_work()
x=np.array([1.0,0.5])
y=forward(network,x)

print(y)

利用ライブラリ

import numpy as np

■疑問、課題点

• ニューラルネットワークを構成する要素は理解したものの、ニューラルネットワークのすごさが何にもわかっていない。（この先の章でわかるはず）to be continued,,,,,

■改善点

• 現時点ではないが、指摘等や誤りに築いた際に、記載するようにスペースとっておく

■参考

• ゼロから作るDeep Learning――Pythonで学ぶディープラーニングの理論と実装
  • https://www.oreilly.co.jp/books/9784873117584/