深層学習の数式の紹介

深層学習(DeepLearning)とは深い層の学習という名の通り、多層のニューラルネットワークを用いた学習方法です。ニューラルネットワークを学習することはニューラルネットワークを学習することに等しいので、関連した数式を簡単に説明していきます。

ちょっとぼーっとしてたら日にちになってしまって、中途半端な状態で公開してますが、ちゃんと更新します。ごめんなさい。

単層パーセプトロン

出力値は0または1をとります。
入力に対して、閾値θを超えたら発火するという単純なモデルですが、深層学習を始めとするニューラルネットワークの基礎となっています。

\begin{align}
&\thetaを閾値とします。\\
&(x_1,x_2は入力値)\\
&(w_1,w_2は重み(weight))\\
&y = 0\,(w_1x_1+w_2x_2 \leq \theta)\\
&y = 1\,(w_1x_1+w_2x_2 \gt \theta)\\
\end{align}

順伝播型(ニューラル)ネットワーク

順伝播型（ニューラル）ネットワーク(feedforward neural network)は、層状に並べたユニットが隣接層間でのみ結合した構造を持ち、情報が入力側から出力側に一方向にのみ伝播するニューラルネットワークです。文献によっては多層パーセプトロン(multi-layer perceptron)と呼ばれます。
(*1より抜粋)

\begin{align}
& u_j=\sum_{i=1}^{I}w_{ji}x_i+b_j\\
& z_j=f(u_j)\quad(u_jは総入力)\\
シグモイド関数(ロジスティックシグモイド関数とも呼ばれる)\\
活性化関数として利用されます。\\

&f(u_j)=\frac{1}{1+e^{-u}}\quad(fが活性化関数)\\
\\
数式の説明としては、u_jが入力ユニットになり、iが & 第1層のユニットi=1,2,3\cdots=I\\
& 第2層のユニットはj=1,2,3\cdots=J\,となります。
\end{align}

引用文献

(*1) 機械学習プロフェッショナルシリーズ 深層学習
著者　岡谷貴之