軽量化・高速化技術

分散深層学習

コンテナ仮想化はより軽量な仮想マシン上でのアプリケーションの仮想化を実現する
- OSはホスト側にあり、これを共有する
- これに対し、ハイパーバイザー型は、バーチャルマシンごとにバーチャルなハードウェアとゲストOSが存在することになる
  - それだけリソースを消費する
Dockerは、コンテナ仮想化を用いてアプリケーションを開発・配置・実行するためのオープンプラットフォーム
- Dockerはコンテナ仮想化を用いたOSレベルの仮想化によりアプリケーションを開発・実行環境から隔離し、アプリケーションの素早い提供を可能にする
  - OSは基本的にはLinux
  - Macの場合には、LinuxのVM上でDockerを動かすことになる
- その環境自体をアプリケーションと同じようにコード（イメージ）として管理可能にする
  - (単一)Dockerイメージの構成をDockerfileで管理し、複数のコンテナの構成をdocker-compose.ymlで管理することによってインフラ構成管理をコードによって行うことができる
- Dockerを開発・テスト・デプロイに用いることで「コードを書く」と「コードが製品として実行される」間の時間的ギャップを大きく短縮できる

GPU: 簡単な並列処理が得意
- CPUがMIMD(複数命令列・複数データ、Multiple Instruction, Multiple Data)を得意とするのに対し、GPUはSIMD(単一命令列・複数データ、Single Instruction, Multiple Data)を得意とする
- GPGPU(General-purpose computing on graphics processing units)開発環境
  - CUDA: GPU 上で並列コンピューティングを行うためのプラットフォーム、NVIDIA専用
  - OpenCL: オープンだが、Deel Learning用に特化している訳ではない、結果的にあまり使われていない
TPU: Googleが開発した行列計算に特化しているプロセッサー
- ノイマン型(メモリにデータとプログラムを内蔵しメモリから命令を逐次取り出し実行する)のような汎用性はない
- 数千の積和演算器が配置され、それらが互いに直接接続されているシストリックアレイというアーキテクチャ
  - 演算の結果をメモリではなく次の乗算器に渡すことでメモリアクセスの必要を無くし、スループットを向上させている
- 演算器の計算精度を 8 bit や 16 bit のみにすることで、スループットの向上や低消費電力化を図っている

通常のパラメーターの64 bit(倍精度)浮動小数点を32 bit(単精度)、16 bit(半精度)など下位の精度に落とすことで使用メモリと演算処理の削減を行う
- 比較的よく使われている
  - 例えば倍精度から単精度に落としてもモデルの性能はそこまで下がらない
  - ただしメモリの節約にはなるが、ハードウェアとして対応していないとスピードの向上にはつながらない
bit数と精度
- 16 bitだと指数部に5 bitなので、$ 2^5 = 32 $桁までの表現ができる
  - 指数部は15のオフセット表現(-14〜15)
  - 表現できる正の数の範囲は$6×10^{－5}〜6×10^4$程度
  - 16 bitにしつつ、指数部と仮数部のbit数の割り当てを変えることもある
- 32 bitでは指数部が8bit
  - 正規数として表現できる範囲は、およそ$±10^{-38}〜±10^{38}$
- これが64 bitでは指数部が11 bit
  - 正規数として表現できる範囲は、およそ$±10^{-308}〜±10^{308}$
1 bitで表現するニ値化(binarization)という手法も存在する
- パラメーターと活性化の双方(+勾配も)が二値化の対象になりうる
- ただし活性化をニ値化すると、ほとんどの勾配が0になってしまうため、逆伝播時のみ対象となる関数を恒等写像関数として扱う(結果的に微分は1になる)Straight-Through Estimator(STE)という手法を採用することがある