指数関数のオーバーフロー対策

最近見た実装で賢いなぁと思った実装があったのでご紹介します。

それが，タイトルにもある通りシグモイド関数のオーバーフロー対策です。

pythonは割と数値型（int, float,...）に関しては優秀で，あまり意識せずとも大きな数値を取ることが可能です。
しかし，流石に限度があるようで。
指数関数ぐらい発散速度が大きいものは簡単にオーバーフローします。

例）

>>> import numpy as np
>>> np.exp(100) #100くらいなら平気
2.6881171418161356e+43 #ただしかなり大きい桁数
>>> np.exp(709)
8.218407461554972e+307
>>> np.exp(710)
<stdin>:1: RuntimeWarning: overflow encountered in exp
inf
>>> np.exp(-1000)
0.0 #マイナス方向なら大丈夫

というわけで，$e^{710}$ という数値になるとオーバーフローしました。

肩の数字がマイナス方向に大きければ問題ないのですが，そうでなければ気をつけなければなりません。
これが効いてくるのが，シグモイド関数の実装時です。

シグモイド関数とは

$$
f(x) = \frac{1}{1+e^{-x}}
$$
で表される関数で，ロジスティック回帰とかニューラルネットワークの活性化関数とかでよく見られるやつです。

これ，一応定義域が実数全体をとるのですが，xがマイナス方向に大きい場合はどうなるでしょうか。

例えば，

$$
f(-1000) = \frac{1}{1+e^{-(-1000)}} = \frac{1}{1+e^{1000}}
$$

なので，$e^{1000}$がオーバーフローすることを考えると計算できないことになります。

そこで，実装上この関数を次のように場合分けをします。

f(x) = \left\{
\begin{array}{ll}
\frac{1}{1+e^{-x}} & (x \geq 0) \\
\frac{e^x}{1+e^{x}} & (x \lt 0) 
\end{array}
\right.

このようにすると，$x\geq0$の時は$e^{-x}$を計算して，$x\lt0$の場合は$e^x$を計算してくれるため，指数関数の肩の数字がマイナスの値になります。

よって，オーバーフロー対策になるわけです。

なお、if文で書いてもいいですが次のようにやると一行で書けます。

import numpy as np
def sigmoid(x):
    return np.exp(np.minimum(x, 0)) / (1 + np.exp(- np.abs(x)))