動作環境

ideone (Python3)

@ゼロから作るDeep Learning
p68
3.5.2 ソフトマックス関数の実装上の注意

ソフトマックス関数の指数計算での注意が記載されている。
掲示されたコード(インタラクティブシェル実行)をscriptに変更してideoneで実行してみた。
(np.exp()を出力する処理も追加した)

import numpy as np

a = np.array([1010, 1000, 990])

res = np.exp(a)
print(res)

res = np.exp(a) / np.sum(np.exp(a))
print(res)

run

[ inf  inf  inf]
[ nan  nan  nan]

exp()の計算でoverflowのためinfになる。

どのくらいの値でoverflowになるのか？
以下を見つけた。

引数 number の値が 709.782712893 を超えると、オーバーフローエラーが発生します。定数 e の値は約 2.718282 です。

709.782712893 という数値は何で決まっているのか?

なお、値に 709.782712893 以上の数値を指定した場合は、倍精度浮動小数点数型（Double）の範囲を超える為、オーバーフローエラーが発生します。

google検索で「log2(exp(709.782712893))」にて

1024

指数部は11ビットである。しかしながら、以下のため、[0, 2047]は[-1023, 1024]の範囲になる。

double型
...
指数部-1023 が指数の値となる．

指数部が1024を超過するという点でexp ( 709.782712893 超過)がオーバーフローになると理解した。