統計学分野のロジット関数やNNのシグモイド関数の対応 #機械学習

Introduction

某所で人に説明する際に

の対応を忘れていてぱっとでてこなかったので、軽くおさらいします。

シッパイカラマナブノダイジ...
チシキバラバラヨクナイ...

厳密には同じものだといえないところがあるかもしれませんが、ご容赦下さい。

乱暴に言うと、

なお何度もいいますが、あくまで同じなのは式の形であり、
境界やとりうる値、意味論を考えるとそうとは言えないかもしれないのでご注意を...

ベースとなる単純な線形モデルは、

$$ y = WX + b $$

Xをinput, yをtarget, Wを重み, bをバイアス（切片）とします。

Xとyは統計だと、それぞれ説明変数、目的変数と呼ばれることが多いようです。

また右辺は線形予測子とも呼ばれます。

これがNNにおける一層の全結合層に対応します。

ここで一般化してリンク関数によりtargetを変換し線形予測子と結びつけます。

$$link(y) = WX + b$$

これがGLMのベースの式です。

先ほどの線形モデルはlink関数を恒等関数にした場合に対応します。　　

今度はlink関数に以下のlogit(ロジット)関数を選びます。

logit(y) = log(\frac{y}{1 - y})

ようはオッズの対数です。

これを左辺がyになるように変形すると

log(\frac{y}{1 - y}) = z \\

y = \frac{1}{1 + exp(-z)}

が得られます。右辺をzの関数とすると、


g(z) = \frac{1}{1 + exp(-z)}

となりご存知シグモイド関数の形になります。

この$g(z)$はロジスティック関数でもあり、　　
zを線形予測子で置き換えると、


y = \frac{1}{( 1 + exp(WX + b))}

となりyをtargetとしたロジスティック回帰となります。

同時にこれは 全結合層 にシグモイド関数を活性化関数として適用した形になります。