斎藤康毅:『ゼロから作るDeep Learning』オライリージャパン，2016．
理解を深めるためにメモします．
4章 ニューラルネットワークの学習
導入される数学の概念
- 損失関数 (loss function)
- 2乗和誤差 (mean squared error)
- 交差エントロピー誤差 (cross entropy error)
- 数値微分 (numerical differentiation)
- 偏微分 = 複数の変数からなる関数の微分
- 勾配 (gradient) = $ \left(\dfrac {\partial f} {\partial x_{0}}，\dfrac {\partial f} {\partial x_{1}}\right) $ のように，すべての変数の偏微分をベクトルとしてまとめたもの
- 勾配降下法 (gradient method)
4.2.1
2乗和誤差 (mean squared error)
$E=\dfrac {1} {2}\displaystyle \sum_{k}\left( y_{k}-t_{k}\right) ^{2}\tag{4.1}$
import numpy as np
def mean_squared_error(y, t):
return 0.5 * np.sum((y-t)**2)
#「2」を正解とする教師データ
t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]
# 例1 :「2」の確率が最も高い場合のニューラルネットワークの出力
y = [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]
mean_squared_error(np.array(y), np.array(t))
実行結果
0.097500000000000031
を手計算して理解を深める．
\begin{eqnarray}
E
&=&\dfrac {1} {2}\displaystyle \sum_{k=1}^{10}\left( y_{k}-t_{k}\right) ^{2}\\
&=&\dfrac {1} {2} \left( \left( y_{1}-t_{1}\right) ^{2}+\left( y_{2}-t_{2}\right) ^{2}+\left( y_{3}-t_{3}\right) ^{2}+\cdots + \left( y_{10}-t_{10}\right) ^{2}\right)\\
&=& \dfrac {1} {2} \left( \left( 0.1-0\right) ^{2}+\left(0.05-0\right) ^{2}+\left(0.6-1\right) ^{2}+\cdots + \left( 0.0-0\right) ^{2}\right)\\
&=& \dfrac {1} {2} \left( \left( 0.1\right) ^{2}+\left(0.05\right) ^{2}+\left(-0.4\right) ^{2}+\cdots + \left( 0.0\right) ^{2}\right)\\
&=& \dfrac {1} {2} \left( \left( 0.1\right) ^{2}+\left(0.05\right) ^{2}+\left(-0.4\right) ^{2}+\left(0.05\right) ^{2}+\left(0.1\right) ^{2}+ \left( 0.1\right) ^{2}+\left( 0.0\right) ^{2}\right)\\
&=& \dfrac {1} {2} \left( \left( 0.01\right)+\left(0.0025\right)+\left(0.16\right)+\left(0.0025\right)+\left( 0.01\right)+\left( 0.01\right)+ \left( 0.0\right)\right)\\
&=& \dfrac {1} {2}\cdot 0.195\\
&=& 0.0975
\end{eqnarray}
間違い等あれば教えていただけると嬉しいです．
