はじめに

　O'REILLYから出版されている「ゼロから作るDeepLearning」を読んで、自分なりに纏めた内容です。
　書籍には、PythonでDeepLearningを作成する手順や各種関数の説明などがありますが、主に理論寄りの内容を書いていきます。

活性化関数について

DeepLearningでは、複数の層からなるニューラルネットワークを形成し、入力層から出力層へ伝播する際に下図のように計算されます。

\begin{eqnarray}
a=b+w_{1}x_{1}+w_{2}x_{2}
\end{eqnarray}

\begin{eqnarray}
y=h\left( a\right) 
\end{eqnarray}

[補足]
　　 $ b $　:　バイアス
　　$ w_{1} $ :　 $ x_{1} $の重み
　　$ w_{2} $ :　 $ x_{2} $の重み

上図の$ h\left( \right) $が活性化関数です。

\begin{eqnarray}
 h\left( x\right)=\dfrac {1}{1+\exp \left( -x\right) } 
\end{eqnarray}

\begin{eqnarray}
h\left( x\right) =\begin{cases}1\left( x >0\right) \\
 0\left( x\leqq 0\right) \end{cases} 
\end{eqnarray}

\begin{eqnarray}
h\left( x\right) =\begin{cases}x\left( x >0\right) \\
 0\left( x\leqq 0\right) \end{cases} 
\end{eqnarray}

出力層の活性化関数($ \sigma \left( \right) $とする)を変更することで、分類問題や回帰問題に使用できます。

\begin{eqnarray}
y_{k}=\dfrac {\exp \left( a_{k}\right) }{\sum ^{n}_{i=1}\exp \left( a_{i}\right) }
\end{eqnarray}

分類問題で使用されるよう。

ソフトマックス関数の出力は0から1.0までの値になります。つまり、出力値は確率として解釈することが出来る。