Coursera Week4
はじめに
CourseraのWeek4を実施しましたので、私のメモを公開します。
Courseraってなんだ？という方はWeek1から御覧ください。
Week4ではニューラルネットワークについて学習を進めていきます。
非常にわかりやすく丁寧な解説なので、ニューラルネットワークのことが理解しやすいと思います。
ニューラルネットワーク(Neural Networks:Representation)
非線型仮説(Non-linear hypotheses)
なぜニューラルネットワークが必要なのか。
ニューラルネットワークを使用せずに線形回帰やロジステック回帰で予測すると、入力の多いデータの場合、計算コストが高くなり、オーバフィットしやすくなる。
実際に車の画像を判定する場合、コンピュータはピクセル単位の数値で判定するため、入力が非常に多くなる。
（例）50x50pixelの小さい画像の場合、ピクセル数は2500 pixel。RGBは7500になる。
モデル表現(Model representation)
ニューロンとはたくさんの入力を受け取り、何らかの計算をして結果を脳内の他のニューロンに送る計算ユニットであるといえる。
アクティベート関数とはニューラルネットワークの用語で、シグモイド関数のことである。
また、$\theta$のことをウェイトと呼ぶ。
ニューラルネットワークの最初のレイアを入力レイアと呼ぶ。
最後のレイヤを出力レイヤと呼ぶ。
その間のレイアを隠れたレイアと呼ぶ。
２つ目のレイアの1番目のニューロン$a_1^{(2)}$と表す。
$S_{j+1} = S_j + 1$
ニューラルネットワークの計算
$z^{(2)} = \theta^{(1)}a^{(1)}$
$a^{(2)} = g(z^{(2)})$
Add $a_0^{(2)} = 1$
$z^{(3)} = \theta^{(2)}a^{(2)}$
$h_\theta(x) = a^{3} = g(z^{(3)})$
例と直感的な説明 (Examples and intuitions)
ニューラルネットワークで$x_1 AND x_2$を計算する。
$g(-30 + 20x_1 + 20x_2)$
| $x_1$ | $x_2$ | $h\theta(x)$ |
|---|---|---|
| 0 | 0 | $g(-30)\approx0$ |
| 0 | 1 | $g(-10)\approx0$ |
| 1 | 0 | $g(-10)\approx0$ |
| 1 | 1 | $g(10)\approx 1$ |
ニューラルネットワークで$x_1 OR x_2$を計算する。
$g(-10 + 20x_1 + 20x_2)$
| $x_1$ | $x_2$ | $h\theta(x)$ |
|---|---|---|
| 0 | 0 | $g(-10)\approx0$ |
| 0 | 1 | $g(10)\approx 1$ |
| 1 | 0 | $g(10)\approx 1$ |
| 1 | 1 | $g(30)\approx 1$ |
ニューラルネットワークでのNOTの計算
$g(10 - 20x_1)$
| $x_1$ | $h\theta(x)$ |
|---|---|
| 0 | $g(10)\approx 1$ |
| 1 | $g(-10)\approx0$ |
ニューラルネットワークで$(NOT x_1) AND (NOT x_2)$を計算する。
$g(10 - 20x_1 - 20x_2)$
| $x_1$ | $x_2$ | $h\theta(x)$ |
|---|---|---|
| 0 | 0 | $g(10)\approx 1$ |
| 0 | 1 | $g(-10)\approx0$ |
| 1 | 0 | $g(-10)\approx0$ |
| 1 | 1 | $g(-30)\approx0$ |
ニューラルネットワークで$x_1$ XOR $x_2$を実現するには以下のようにニューラルネットワークを組み合わせる。
ニューラルネットワークの２層目のニューロン$a_1^{(2)}$に$x_1 AND x_2$のネットワークを使用。
ニューラルネットワークの２層目のニューロン$a_2^{(2)}$に$(NOT x_1) AND (NOT x_2)$のネットワークを使用。
ニューラルネットワークの3層目のニューロン$a_1^{(3)}$に$x_1 OR x_2$のネットワークを使用。
| $x_1$ | $x_2$ | $a_1^{(2)}$ | $a_2^{(2)}$ | $h_\theta(x)$ |
|---|---|---|---|---|
| 0 | 0 | 0 | 1 | 1 |
| 0 | 1 | 0 | 0 | 0 |
| 1 | 0 | 0 | 0 | 0 |
| 1 | 1 | 1 | 0 | 1 |
マルチクラス分類器 (Multi-class classification)
ニューラルネットワークを用いて、画像を人、車、バイク、トラックのように分類する場合、1 vs ALL法と同じものになる。
上記の場合、$h_\theta(x)$は４つの要素を持つベクトルになる。
1つ目の要素が1なら人、2つ目の要素が1なら車…など。