活性化関数

一覧表

関数名	出力	説明
シグモイド	[0,1]	一つの実数値を入力に取る。2値分類で使用される。
ロジスティック
ソフトマックス		入力をベクトルで受け取り、出力もベクトルで返す。多分類で使用される。
ランプ関数

シグモイド関数

入力情報は $x$ の実数値一つ、出力も定義式に従って実数値一つ。

f(x)=\frac{1}{1+e^{-x}}

ソフトマックス関数

入力情報は $[x_1,x_2,...,x_n]$ のベクトルを受け取り、出力は $[e^{x_1},e^{x_2},...,e^{x_n}]$ を計算する。特徴的なのは、出力要素の総和を1に規格化するところであり、各要素を $\sum_{i=1}^{n} e^{x_i}$ で規格化する。

f(x_i)=\frac{e^{x_i}}{\sum_j^{n} e^{xj}}

RELU関数（ランプ関数）