この記事は個人的なお勉強用のメモです。
このお勉強の位置
深層学習 Day 2
Section 1 勾配消失問題
Section 2 学習率最適化手法
Section 3 過学習
Section 4 畳み込みニューラルネットワークの概念
Section 5 最新のCNN ← これ
講義
AlexNet
AlexNetとは
- 2012年に開かれた画像認識コンペティションで登場。
- 2位に大差をつけて優勝。
- ディープラーニングが注目を集めるきっかけに。
AlexNetのモデル
- 3層の畳み込み層
- 2層のプーリング層
- 3層の全結合層（ドロップアウトあり）
実装演習
なし。
確認テスト
なし。
修了テスト～練習問題～
問題60（GoogLeNet）
Inceptionモジュールとは
- 1つの入力画像に対して、複数の畳み込み層を並列に適用。
- 各畳み込み層の結果を連結。
- この一連の作業をInceptionモジュールとしてまとめる。
問題61（GoogLeNet）
1×1畳み込みというのは、画像のサイズは変えずにチャンネル数を変える方法。
そうであれば、図1のサイズは2x2のまま変わらないはずだが、
正解の解説では結果を足し合わせることで2x2が1x1になっている。
引き続き勉強。
問題62（GoogLeNet）
Global Average Poolingとは
- 各チャンネルの平均値を計算してまとめる。
- 重みのパラメータを減らすことができる。
問題63（GoogLeNet）
- ResNetはInception-ResNetで採用
- Batch NormalizationはInception-v3で採用
- 畳み込みフィルターの大きさ変更はInception-v2で採用