1.この記事で分かる事

活性化関数とは
よく出てくる活性化関数の数式及びその特徴や使用目的と、Pythonによるスクラッチ実装
- ステップ関数
- シグモイド関数
- ソフトマックス関数
- tanh関数
- ReLU関数

2.活性化関数とは

活性化関数の特徴は、①非線形な関数で、②微分可能な関数という事が特徴。
①については、NN内において非線形な変換を行うため。
②については、勾配計算の際に微分可能である必要がある。

3.よく出てくる活性化関数

ステップ関数(階段回数)

特徴

標準形

step(x)=\left\{\begin{array}{l1}
1&(a \geq 0)\\
0&(a \lt 0)
\end{array}\right.\\

閾値(上記のコードではa)以上なら１
閾値未満なら０という非常にシンプルな関数
閾値 aはハイパーパラメータ

深層学習における問題点

微分できない
閾値を超えないと常に0なので、勾配消失が起こりがち

step 関数

def step(a,x):
   if x >= a: #閾値a以上なら、1を返す
      return 1
   else:      #他は全て0
      return 0

step関数の図

シグモイド関数

特徴

標準形

sigmoid(x)=\frac{1}{1 + e^{-ax}}

微分形

sigmoid(x)をf(x)としたとき、f'(x)= (1-f(x))f(x)となる

値域が0～1の範囲で、確率の出力に類似している
a は基本的に1のハイパーパラメータ

深層学習における問題点

勾配消失が起こりやすい事

sigmoid 関数

import numpy as np

def sigmoid(a,x):#以下のグラフではa=1としている
    return 1 / (1 + np.exe(-a*x))

補足

シグモイド関数とロジスティック関数が混同する事が多いので気になる方は以下のページへ
→シグモイド関数とロジスティック関数の違い
シグモイド関数の微分も大事なので、一度実際に計算する事をお勧めします。
→シグモイド関数の微分の解答

tanh関数

特徴

標準形

tanh(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}

微分形

tanh(x)をf(x)としたとき、f(x)'= (1-f(x))^2となる

値域が-1～1の範囲。
a は基本的に1のハイパーパラメータ

深層学習における問題点

勾配消失が起こりやすい事

tanh 関数

import numpy as np

def tanh(x):
    return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))

softmax関数

特徴

標準形

y_i=\frac{e^{x_i}}{\sum_{k=1}^{n}e^{x_k}}

微分形

\frac{∂y_i }{∂x_j }=\left\{\begin{array}{l1}
y_i(1-y_j)&(i=j)\\
-y_jy_i&(i\neq j)
\end{array}\right.\\

値域が0～1の範囲

深層学習における問題点

勾配消失が起こりやすい事
オーバーフロー対策が必要になる場合がある

softmax 関数

import numpy as np

def softmax(x):
    x = x.T
    x = x - np.max(x, axis=0) #オーバーフロー対策で最大値を引いている。
    x = np.exp(x) / np.sum(np.exp(x), axis=0)
    return x.T

x = np.array([1, 2, 3, 4, 5, 6]) として、上記の関数を適用すると以下の図のようになる。

補足

モデルの蒸留に使われる温度付きソフトマックス関数(元の式のexpの乗数の分母に、温度パラメータTを付けたソフトマックス関数のこと)→詳しくはこちらのページ

ReLU関数

特徴

0より上の入力をそのまま扱うことで、上記の関数の勾配消失問題を解決したこと

深層学習における問題点

0以下の部分において、勾配消失が起こりやすい事

ReLU(x) = max(0,x)

ReLU

import numpy as np

def ReLU(x):
  return np.maximum(0,x)