『機械学習スタートアップシリーズこれならわかる深層学習入門 (KS情報科学専門書)』

3.1 神経細胞のネットワーク

チューリング「人工に脳を作れんじゃね」
マカロック、ピッツ「人工ニューロンで論理回路が作れる」
ローゼンブラット「自ら学習させたらいいんじゃね」
ミンスキー「入力層と出力層だけじゃ難しいの解けねーww」

3.2 形式ニューロン

3.3 パーセプトロン

演習3.1

ReLUの関数に値を代入

(x_1, x_2)	(0, 0)	(1, 0)	(0, 1)	(1, 1)
(z_1, z_2)	(0, 0)	(1, 0)	(0, 1)	(0, 0)
y	0	1	1	0

階段関数でXOR

z_1=(x_1-2x_2-\frac{1}{2}), z_2=(-2x_1+x_2-\frac{1}{2}) \\
y=\theta(z_1+z_2-\frac{1}{2})

(x_1, x_2)	(0, 0)	(1, 0)	(0, 1)	(1, 1)
(z_1, z_2)	(0, 0)	(1, 0)	(0, 1)	(0, 0)
y	0	1	1	0

3.4 順伝播型ニューラルネットワークの構造

(3.34)
(2.29)より、

\begin{align}
E({\bf w})&=-\sum_{n=1}^N{(y_n\log{y({\bf x}_n;{\bf w})+(1-y_n)\log{(1-y({\bf x}_n;{\bf w})))}}} \\
y_n&=\sum_{k=1}^K{t_{n,k}} より、 \\
E({\bf \theta})&=-\sum_{n=1}^N\sum_{k=1}^K{t_{n,k}\log{y_k({\bf x}_n;{\bf \theta})}}
\end{align}