まえがき
一応、前回のパーセプトロンの記事を読んでいる前提で説明します。
前回の単純パーセプトロンでは以下のように出力yを計算しました。
y = \begin{cases}
0 & (b + w_1w_1 + w_2 x_2 \leq 0)\\
1 & (b + w_1w_1 + w_2 x_2 > 0)
\end{cases}
これを以下の3式に書き換えてみましょう。
$$ y = h(a) $$
$$ a = b + w_1x_1 + w_2x_2 $$
h(a) = \begin{cases}
0 & (a \leq 0)\\
1 & (a > 0)
\end{cases}
3つに分解されただけで、やっていることは現状同じです。
さて、これを図で表してみましょう。
汚い図ですね。
とにかくこういう処理で単層の計算を行っているわけです。
ここで肝心なのはaをyに変換するh(a)です。今は
h(a) = \begin{cases}
0 & (a \leq 0)\\
1 & (a > 0)
\end{cases}
を関数としていますが、これを別の関数に置き換えれば別の出力が得られるはずですね。この種類をいくつか見てみましょう。
どれも$y = ax$みたいな簡単な式（線形関数）ではありません。そもそも線形関数ならわざわざ重ねなくても一回で計算できるし。
ステップ関数
h(a) = \begin{cases}
0 & (a \leq 0)\\
1 & (a > 0)
\end{cases}
これ。
実装してみよう
単純に条件を入力してみるとこうですね。
def step_function(x):
if x > 0:
return 1
else:
return 0
$h(a)$自体はできているんですが、これではnumpy配列を扱えません。
以下のように書いてみます。
import numpy as np
def step_function(x):
return np.array(x > 0, dtype = int)
これは、$x>0$を満たしていたらTrue,満たしていなかったらFalseの配列を返す…のをさらに、int型に変換することで$x > 0$なら1、満たしていないなら0、という配列に変換しています。
グラフで表してみます。
import numpy as np
import matplotlib.pylab as plt
def step_function(x):
return np.array(x > 0, dtype = int)
x = np.arange(-5.0, 5.0, 0.1)
y = step_function(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()
できました。
シグモイド関数
以下の式で表します。
$$ h(x) = {1\over {1 + \mathrm{exp}(-x)}} $$
特徴として、$\infty > x > -\infty$の範囲で$1 > y > 0$の範囲をとること。$x = 0$で$y = 0.5$。
実装してみよう
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
これでシグモイド関数をあらわすことができます。
グラフにしてみましょう。
import numpy as np
import matplotlib.pylab as plt
def sigmoid(x):
return 1 / (1 + np.exp(-x))
x = np.arange(-10.0, 10.0, 0.1)
y = sigmoid(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()
こんな感じです。すごくおおざっぱに言えば、なめらかなステップ関数といったような形をしています。
LeRu関数
以下の式で表します。
h(x) = \begin{cases}
x & (x > 0)\\
0 & (x \leq 0)
\end{cases}
ステップ関数で1だった所がxになってます。
実装してみよう
import numpy as np
def relu(x):
return np.maximum(0, x) # 0かxか大きい方を返す
ではグラフにしてみます。
import numpy as np
import matplotlib.pylab as plt
def relu(x):
return np.maximum(0, x)
x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.show()
こうなりました。
ソフトマックス関数
主に出力層に用いります。
これは複数のaを利用してyを求める関数です。
$$ h(a_ k) ={ \mathrm{exp}(a_k)\over \sum^n _ {i = 1}\mathrm{exp}(a_i)}$$
証明は省略しますが、このように変形できます。
$$ y_ k ={ \mathrm{exp}(a_k + C)\over \sum^n _ {i = 1}\mathrm{exp}(a_i + C) }$$
これは数値範囲をオーバーしないためにする変形です。aに10000とか入っててもオーバーフローしないためにこの変形をする必要がある。
実装してみよう
import numpy as np
def softmax(a):
c = np.max(a)
exp_a = np.exp(a - c) # これで必ずa-c <= 0。オーバーフローしなくなる。
sum_exp_a = np.sum(exp_a)
y = exp_a / sum_exp_a
return y
出力してみましょう。
a = np.array([0.3, 2.9, 4.0])
y = softmax(a)
print(y) # [0.01821127 0.24519181 0.73659691]
はいここで出力yに注目してください。
[0.01821127 0.24519181 0.73659691]の三つ。合計すると1になります。
つまりこれは与えられた三つの数字の大きさを比較し、「確率」に変換する関数といえます。
恒等関数
h(a) = a
つまりそのまま。これも出力に用います。ソフトマックス関数使わずにこれでもそんなに問題ない。
実装してみよう
いる？
まとめ
多数のxの入力をまとめてaを作り、それを活性化関数$h(a)$で変換する。これを繰り返して目的の出力を得るのがニューラルネットワークです。$h(a)$にはいろいろ種類があります。ここで触れた以外にもたくさんあります。
最後の二つのソフトマックス関数、恒等関数はどちらかというと出力用の関数。ちょっとジャンルが違います。
『ゼロから作るDeepLearning - Pythonで学ぶディープラーニングの理論と実装』を参考にしました。
前回:パーセプトロン