講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第6章 畳込みニューラルネット

注意：『深層学習 (機械学習プロフェッショナルシリーズ)』

を読むにあたって、自分が読みたいな、こんな記事があったら参考になるな、という基準で書いております。私は機械学習も数学も専門家ではないので誤っている箇所も多々あるかと思いますが参考となると幸いです。

第6章 畳込みニューラルネット

6.1 単純型細胞と複雑型細胞

• 図6.2. 中間層のどれか1つが活性化していれば出力層は活性化するとのことなのだが、(a)も(b)も中間層の1つが活性化しているのに出力層が活性化していないのは何故だろう？

6.2 全体の構造

特になし

6.3 畳込み

• 図6.5 まだよく飲み込めてない方は実際に値を計算してみると腑に落ちると思う。
  • 元の画像の左上3x3についてフィルタを作用させると
    • 770.01 + 800.08 + 82*0.01 +
    • 830.08 + 780.64 + 80*0.08 +
    • 870.01 + 820.08 + 81*0.01
    • =79.19≒79で出力の右上の79と一致する
  • 念のため右に1つスライドさせた位置について
    • 800.01 + 820.08 + 78*0.01 +
    • 780.08 + 800.64 + 83*0.08 +
    • 820.01 + 810.08 + 80*0.01
    • =79.69≒80で出力の右上から右に1つスライドさせた80と一致する
  • 以下同様
• 図6.6 図6.5と同様だがゼロパディングされたのを考慮して
  • 元の画像の右上3x3についてフィルタを作用させると
    • 00.01 + 00.08 + 0*0.01 +
    • 00.08 + 770.64 + 80*0.08 +
    • 00.01 + 830.08 + 78*0.01
    • =63.1≒63でいいはずだが出力の右上は62
  • 念のため右に1つスライドさせた位置について
    • 00.01 + 00.08 + 0*0.01 +
    • 770.08 + 800.64 + 82*0.08 +
    • 830.01 + 780.08 + 80*0.01
    • =71.47≒71で出力の右上から右に1つスライドさせた71と一致する

6.4 畳込み層

難しそうに見えますがRGBの3色について6.3節と同じことを繰り返して足しているだけですね。

6.5 プーリング層

LpプーリングについてPを∞とすると

z_{abk}を最大値とすると \\
(\lim_{P \to \infty}{\sum{z_{pqk}^P}})^{\frac{1}{P}}=(\lim_{P \to \infty}{z_{abk}^P\sum{\frac{z_{pqk}^P}{z_{abk}^P}}})^{\frac{1}{P}} \\
（z_{abk}以外の項は0となり、） \\
=(\lim_{P \to \infty}{z_{abk}^P})^{\frac{1}{P}} \\
=z_{abk} \\
つまり、z_{pqk}の最大値となる

6.6 正規化層

特になし

6.7 勾配の計算

p51 4.4.2 順伝播と逆伝播の行列計算と同じ。

6.8 実例：物体カテゴリ認識

特になし

⇒次は、講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第7章 再帰型ニューラルネット へ