はじめに

bfloat16は、いろいろソフトが出てきているので、まとめてみる。

Bfloat16の適用範囲について

Bfloat16では、学習ができるとの現象論的論文が出ている。すでに、ResNet以外にGAN等複雑な計算を行って、そん色ない結果を出している。
また、Ising modelのモンテカルロでもFP32と比べてそん色ない結果が出ている。

使い方

TensorFlow

tf.castコードの例がある。

PyTorch

TPUを使った場合、bfloat16を使える。サンプルコードもある。

AWS inf1

コンパイラで、FP32からBF16に自動変換する。推論だけだから？

フレームワーク等での対処

深層学習ソフトでの数値変換

FP32からBFloat16に変換する際、丸め誤差およびNaNに対する処理が必要との知見が、Googleがメインに開発しているTensorFlowの実装が出ておりそこで説明されている。もともとは、こちらの記事にあったが、ちょっと整理してみた。
まず、NaNの値は、例外を発生しないquiet NaNに変更している。
次に、丸め誤差は、若干複雑なので、表にして示す。