この記事は個人的なお勉強用のメモです。
このお勉強の位置
深層学習 Day 2
Section 1 勾配消失問題
Section 2 学習率最適化手法
Section 3 過学習 ← これ
Section 4 畳み込みニューラルネットワークの概念
Section 5 最新のCNN
講義
過学習とは
テスト誤差と訓練誤差とで学習曲線が乖離すること。
原因
・パラメータの数が多い
・パラメータの値が不適切
・ノードが多い
言い換えると、ネットワークの自由度が高いのが過学習の原因。
正則化
正則化とは、ネットワークの自由度を制約すること。（ルールを設けること）
制約すると、過学習を防げる。
- L1正則化
- L2正則化
- ドロップアウト
データを水増しすると同じ傾向のデータになるため、過学習しやすい。
CNN 畳み込みとか。ドロップアウトがよく使われる。
Weight decay（荷重減衰）
重みが大きい値をとると、過学習が発生することがある。
重みが大きいということは、そのデータを重要視するということ。
重みの抑制が重要。
L1,L2正則化
E_n(w)+\frac{1}{p}\lambda ||x||_p\\
$E_n(w)$：誤差関数
$\frac{1}{p}\lambda ||x||_p$：pノルム
pノルムを加える＝制約を加える
||x||_p=(|x_1|^p+...+|x_n|^p)^{\frac{1}{p}}
p=1：L1正則化（絶対値の和）
p=2：L2正則化（二乗和）
L1,L2正則化の適用方法
- ある層上の複数の重みに対してpノルムを計算する。
- 他の層に対しても同様の計算をする。
- すべての層のpノルムを足し算する。
- 3.で求めたpノルムに係数をかけて、誤差関数に加える。
ドロップアウト
ランダムにノードを削除。
しきい値を超えないノードは不活性化。
これにより学習を抑制（過学習の防止）。
メリット
・データ量を変えずに、異なるモデルを学習させていると解釈できる。
例題チャレンジ
L2正則化でパラメータの更新を行うプログラム
def ridge(param, grad, rate):
grad += rate * param
param、が正解。
np.sqrt(np.sum(param**2))が正解かと思ったが、それは誤り。
pパラムを加えるのは誤差関数に対して。
その誤差関数を微分することによって、誤差関数の勾配を最小にするため、
pパラムを微分する必要がある。
つまり、誤差関数に||param||^2の勾配を加えるので
重みを更新するプログラムとしては||param||^2を微分した値が正解。
（係数の2は正則化の係数に吸収される）
L1正則化でパラメータの更新を行うプログラム
def lasso(param, grad, rate):
x = sign(param)
grad += rate * x
sign(param)、が正解。(-1, 0, 1 といった符号が返る）
L2と同じように考える。
|param|の勾配を加える、とのことなので
|param|を微分した値が正解。
データ集合の拡張（水増し）
def random_crop(image, crop_size):
h, w = image.shape
crop_h, crop_w = crop_size
top = np.random.randint(0, h - crop_h)
left = np.random.randint(0, w - crop_w)
bottom = top + crop_h
right = left + crop_w
image = image[top:bottom, left:right, :]
return image
外部仕様
imageの形式は (縦幅, 横幅, チャンネル）
出力される画像の縦幅と横幅を指定する。
実装演習
L2,L1正則化
正則化なし
訓練データに対する正解率(Accuracy)が1になっている。
つまり、過学習の状態。
L2正則化（weight_decay_lambda=0.1）
正則化なしに比べて過学習は抑制できている。
しかし、テストデータに対する正解率は低いまま。
これだけでは過学習を抑制してもメリットは感じられない。
L1正則化（weight_decay_lambda=0.1）
こちらも過学習を抑制できている。
線がジグザグになっているのは、パラメータがゼロになることによって
学習率の低下が目に見えて現れたということだろうか。
L2正則化（weight_decay_lambda=0.2）
weight_decay_lambdaを0.1から0.2にしたところ、
学習データとテストデータの両方で、正解率が学習中に低下してしまった。
これは制約が強すぎたということか。
適切なパラメータに調整するのは難しい。
試行錯誤が必要。
ドロップアウト（dropout_ratio=0.15）
まるで学習できていない。
dropout_ratio=0.9の場合、最初から最後までまるで学習しない。
dropout_ratio=0.2の場合、0.1とほぼ同じ。
dropout_ratio=0.01の場合、0.15のときよりはましだが、この場合も途中から正解率が落ちていく。
dropout_ratioだけの変更で正解率を上げるのは難しい。
ドロップアウト（use_drop=False）
そもそもドロップアウト無しの状態で過学習が発生していない。
実装演習としては過学習が発生している状態にしてから
ドロップアウト有りを試すのがよかったかもしれない。
ドロップアウト＋L1
過学習を抑制しつつ、テストデータに対する正解率を高くできた。
実務では仮説を立てつつ実行してみるのが重要。
仮説と実際の結果を比較して考察する。
確認テスト
リッジ回帰の特徴
- ハイパーパラメータを大きくすると、すべての重みが限りなく0に近づく。
ハイパーパラメータが大きいということは制約を強くするということ。
制約が強くなるというのは重みが0に近づくこと。 - リッジ回帰は元々線形回帰であり、ハイパーパラメータを0にしても線形回帰のまま。
- バイアス項は正則化されない。
- 隠れ層ではなく誤差関数に対して正則化項を加える。
右上に楕円がある、あのグラフがリッジ回帰。
(0,0)を中心とした円を描く。
重みは、この円の上(円の中も？)だけで値をとれる。
これを制約と言っている。
L1正則化を表すグラフ
(0,0)を中心とした四角の方のグラフが、L1正則化。
L1：スパース推定
重みがちょっとした値でも存在すると、シグモイド関数とかの計算リソースがかかるが、
重みがゼロなら計算リソースはゼロ。
L2：縮小推定
計算リソースは減らないが精度は高い。
修了テスト～練習問題～
終了テストに過学習に関する問題なし。
代わりに、赤本 6.4 節で勉強。
過学習を抑制するとテストデータでの訓練精度が下がる（ことがある）が、
下がることを問題視するのではなく、学習データとテストデータとで
学習精度の隔たりが小さくなることが重要。