内容

15stepで踏破自然言語処理アプリケーション入門を読み進めていくにあたっての自分用のメモです。
今回は3章Step10で、自分なりのポイントをメモります。

準備

個人用MacPC：MacOS Mojave バージョン10.14.6
docker version：Client, Server共にバージョン19.03.2

章の概要

8章では単純パーセプトロンから発展して多層パーセプトロンを導入し、9章では多クラス識別器を実装してみた。
10章ではニューラルネットワークの改善を目指す。

ニューラルネットワークの層を深くする難しさ
重みの最適化手法
ニューラルネットワークのチューニング方法

10.1 Deep Neural Networks

もともとは3層以上のニューラルネットワークをdeepと呼んでいた。
層を増やすのは model.add で層を増やすだけで良い。

ニューラルネットワークの層を深くする難しさ

項目	解決策
過学習しやすくなる	・Early stopping 　・層が多いとニューラルネットワークの表現力が高いため、学習データへ過剰に適合しやすい　・エポック単位で学習を繰り返すが、テストデータに対する精度が下がる前に学習を切り上げること・Dropout 　・学習時に一部のユニットを一定の割合でランダムに無視し、予測時には全ユニットを使う　・1回の学習で有効になるユニットの数が少ないので過学習しづらい　・複数のニューラルネットワークの足し合わせに似た予測の仕方が、アンサンブル学習と同様の効果を発揮する
学習がうまく進まない	・Batch normalization 　・内部共変量シフトが起きる　　・手前の層の重みの更新のせいで、後ろの層の重みの更新が妨げられる　・データの分布が平均0で分散1になるよう正規化する　・新たな層として追加したり、層中の活性化関数の前で実行したりする
計算量の増大	高速に並列処理ができるGPUを利用してニューラルネットワークを学習する

EarlyStopping

model.fit(X, y,
    epochs = 100,
    validation_split = 0.1,
    callbacks = [EarlyStopping(min_delta = 0.0, patience = 1)])

    # epochs：ある程度大きくして、EarlyStoppingで切り上げるより前に終わらないようにする
    # validation_split：入力した学習データのうち、学習データとバリデーションデータの割合を指定できる
    # callbacks：listで指定したコールバックが学習中に逐次呼び出される

Dropout

model = Sequential()
model.add(Dense(..))
model.add(Dropout(0.5))
model.add(Dense(..))
model.add(Dropout(0.5))
model.add(Dense(..))
model.add(Dropout(0.5))
model.add(Dense(.., activation = 'softmax')
model.compile(..)

# Dropoutのコンストラクタ引数はユニットを無視する割合

BatchNormalization

model = Sequential()

# 新たな層として追加
model.add(Dense(.., activation = 'relu'))
model.add(BatchNormalization(0.5))

# 活性化関数の前に追加
model.add(Dense(..))
model.add(BatchNormalization(0.5))
model.add(Activation('relu')

model.add(Dense(.., activation = 'softmax')
model.compile(..)

10.2 ニューラルネットワークの学習

勾配降下法

誤差関数を重みで微分することで傾きを求め、傾きの逆方向に重みの値を更新し、ニューラルネットワークの学習を進める。

大域最適解と局所最適解

大域最適解：求めたい最適解。取りうる重みの中で最も誤差が最小となる重み（最適解）
局所最適解：部分的に見れば最適解だが、最も適した解が他にも存在する

確率的勾配降下法とミニバッチ法

勾配降下法（バッチ法）
- 一度に全データを投入して全データの平均に対して重みを更新する
- 学習が進みづらい
- 局所最適解に陥りやすい
確率的勾配降下法（SGD）
- 一度に一個だけランダムに選んだ学習データを投入し、それに対して重みを更新する
- ノイズに対して弱く、重みの更新が悪い方向にブレると学習が安定しない
ミニバッチ法
- バッチ法とSGDの中間
- 一度に数個だけランダムに選んだ学習データを投入し、それらのデータの平均に対して重みを更新する

10.3 ニューラルネットワークのチューニング

項目	内容
バッチサイズ	・学習時のバッチサイズで、Kerasのデフォルトは32 ・2のべき乗が多いがこれはただの慣習だが、小さい値は密に大きい値は疎に探索することに意味がある
Optimizer	・よく使われるのは後発のAdamだが、問題によってはシンプルなSGDが一番いい場合もある・下の学習率とともにチューニングする
学習率	・一度に更新する重みの比率で、KerasのAdamのデフォルトは0.001
活性化関数	・広く使われるのはReLU(Rectified Linear Unit)だが、改良版のやLeaky ReLUやSeLU(Scaled Exponential Unit)も検討の余地あり。　・Leaky ReLU：入力が0以下の場合、傾きが小さな線形関数で変換　・ELU：入力が0以下の場合、指数関数から1引いた値で変換
正則化/荷重減衰	・過学習を避けるために重みが大きくなりすぎないよう制約をかけ、下記のようなノルムを損失関数に加える　・l1ノルム：重みの各要素の絶対値の和　・l2ノルム：重みの各要素の2乗和　・l∞ノルム：重みの各要素の最大絶対値
重みの初期化	・Kerasのデフォルトは乱数で初期化される・分布を指定することも可能

活性化関数

model = Sequential()
model.add(Dense(.., activation = 'selu'))
model.add(Dense(.., activation = LeakyReLU(0.3)))
model.add(Dense(.., activation = 'softmax')
model.compile(..)

正則化

model = Sequential()
model.add(Dense(.., activation = 'relu',
    kernel_regularizer = regularizers.l2(0.1)))
model.add(Dense(.., activation = 'softmax',
    kernel_regularizer = regularizers.l2(0.1)))
model.compile(..)

重みの初期化

model = Sequential()
model.add(Dense(.., activation = 'relu',
    kernel_initializer = initializers.glorot_normal()))
model.add(Dense(.., activation = 'softmax',
    kernel_initializer = initializers.glorot_normal()))
model.compile(..)

glorot_normal()：Glolotの正規分布のことで、Xavierの正規分布とも呼ばれる（こっちの方が聞いたことがあった）。
Xavierの初期値はsigmoid関数やtanh関数に適しているが、活性化関数にReLUを用いる場合はReLUに特化したHeの初期値の方が良さそう。