『機械学習スタートアップシリーズ これならわかる深層学習入門 (KS情報科学専門書)
3.1 神経細胞のネットワーク
- チューリング「人工に脳を作れんじゃね」
- マカロック、ピッツ「人工ニューロンで論理回路が作れる」
- ローゼンブラット「自ら学習させたらいいんじゃね」
- ミンスキー「入力層と出力層だけじゃ難しいの解けねーww」
3.2 形式ニューロン
3.3 パーセプトロン
- 演習3.1
ReLUの関数に値を代入
| (x_1, x_2) | (0, 0) | (1, 0) | (0, 1) | (1, 1) |
|---|---|---|---|---|
| (z_1, z_2) | (0, 0) | (1, 0) | (0, 1) | (0, 0) |
| y | 0 | 1 | 1 | 0 |
階段関数でXOR
z_1=(x_1-2x_2-\frac{1}{2}), z_2=(-2x_1+x_2-\frac{1}{2}) \\
y=\theta(z_1+z_2-\frac{1}{2})
| (x_1, x_2) | (0, 0) | (1, 0) | (0, 1) | (1, 1) |
|---|---|---|---|---|
| (z_1, z_2) | (0, 0) | (1, 0) | (0, 1) | (0, 0) |
| y | 0 | 1 | 1 | 0 |
3.4 順伝播型ニューラルネットワークの構造
- (3.34)
(2.29)より、
\begin{align}
E({\bf w})&=-\sum_{n=1}^N{(y_n\log{y({\bf x}_n;{\bf w})+(1-y_n)\log{(1-y({\bf x}_n;{\bf w})))}}} \\
y_n&=\sum_{k=1}^K{t_{n,k}} より、 \\
E({\bf \theta})&=-\sum_{n=1}^N\sum_{k=1}^K{t_{n,k}\log{y_k({\bf x}_n;{\bf \theta})}}
\end{align}