Deep Learning with Limited Numerical Precision

Deep Learningを固定小数点(Fixed Point)演算で行った時の精度と性能の検証及びFPGAでの実装に関する論文。

論文では16bit Fixed Point演算で32bit Floating Pointと同等の性能を達成している。

Fixed pointのメリットは、
・Floating Pointに比べて高速に演算ができ、H/W Costが少ない
・メモリの消費を抑えられる（16bit Fixed Pointと32bit Floating Pointとの比較での話）

固定小数点の表記

論文で使用している表記は以下の通り

Fixed Point = [QI.QF]
QI ... integer
QF ... fractional part

IL ... # of integer bits
FL ... # of fractional bits
WL ... word length WL = IL + FL

Fixed Pointの表記は**<IL, FL>**を使用

固定小数点の値の幅は
$[-2^{IL-1}, 2^{IL-1}-2^{-FL}]$

例えばIL=8, FL=8の時
$[-2^7, 2^7-2^{-8}]$

範囲の最大値の意味は$2^７$から小数の最小値$2^{-8}$を引いたということ。

Rounding Mode

固定小数点計算の場合に四捨五入（Round）の扱いが問題になる。

四捨五入は２つのModeで検証した

Round-to-nearest

普通の四捨五入
ここで$\epsilon=2^{-FL}$のこと
~~$\lfloor x \rfloor$は$x$を超えない最も近い整数値~~
$\lfloor x \rfloor$は$x$以下の$\epsilon=2^{-FL}$を整数倍した値
$FL=1$のとき$\epsilon=0.5$なので
$x=1.75$だったら$\lfloor x \rfloor=1.5$
$x=1.8$だったら$\lfloor x \rfloor=2.0$
になる。

Stochastic rounding

ramdomでどっちにするか決める。その時の確率は$x$と$\lfloor x \rfloor$の差を$\epsilon$で割ったもの。

Convert ( clipping)

値が範囲外だった時の処理
最小値以下だったら最小値に、最大値以上だったら最大値にする。

Multiply and accumulate(MACC) operation

要素毎に掛け算して、総和を取る演算

z=\sum_{i=1}^d a_ib_i

２つの値の掛け算後の値は<2IL,2FL>になる。毎回四捨五入すると精度が落ちるので、専用のTemporal Registerを使って演算する。
必要なビット精度は、$log_2d+2WL$

性能評価

MNIST

Networkの構造、学習パラメータは以下の通り
・2 hidden layer
・1000 unit ReLU
・training image 60,000, test image 10,000 28x28
・imput data range [0,1]
・data augmentatoinなし
・weight N(0,0.01)、bias 0 で初期化
・minibatch size 100
・SGD

Round to nearestだとFL=８，10,12で劣化が見られる。
パラメータがほとんど０になっているのが原因とのこと。
Stochastic roundingだとFL=8でも大きな劣化が見られない。

CNN

・MNIST
・2 convolutional layer
・5x5 filter
・ReLU
・first layer 8 feature maps, second layer 16 feature maps
・max pooling 2x2 non-overlapping
・fully connected layer 128 ReLU
・10-way softmax
・exponentially decreasing learning rate 0.95/epoch
・first learning rate 0.1
・Momentum 0.9
・weight decay 0.0005
・SGD

Stochastic roundingだとFL=12,14でFloatingと同じぐらいの性能

CIFAR-10

・training image 50,000, test image 10,000 RGB image 32x32
・input range [0,1]
・data augmentationなし
・3 convolutional layer
・5x5 fiter 64 feature maps
・max pooling 3x3 stride = 2
・learning rate 0.01 epoch 50, 75, 100 の時に1/2

Stochastic roundingだとFL=14でFloatingと同じぐらいの性能

Hardware Prototyping

Xilinx Kintex325T FPGA, 8 GB DDR3 memoryで実装したとのこと。
性能は37Giga ops/s/W　（opsはoperations, Wはワット 1秒間１Wの時のOperation回数）
NVIDIA GT650m, GTX780だと1-5 G-ops/s/Wとのこと。

実装の詳細は論文参照してください。

#最後に
Round to nearestに比べてStochastic roundingがいいのは、おそらく四捨五入の結果が確率的に変わるので値がRound to nearestよりは0になりにくいのがいいのでしょうか？
今だとNVIDIAのCUDAが16bit floating pointをサポートしているので、それと比較するとメモリの節約効果はあまり無い気がする。
ただ固定小数点と浮動小数点ではH/W Cost＆演算速度が異なるので、そのへんはメリットがあるかも。
モデルごとに必要な精度が異なるのがネックになりそう。