個人的防備録として。主に論文へのリンクがあるものを中心に記載する。随時追記予定。
サーベイ
深層学習のモデル圧縮・高速化に関する論文80本ノック
- 2018年04月06日に投稿された記事である。
- 深層学習モデルのパラメータ容量の削減や高速化を目的とした手法に関する論文を80本紹介してくれている。
- 各論文を「蒸留」「量子化」等にグループ分けしてくれて、論文のタイトルと内容の一言説明が記載されている。
- 筆者は筑波大学の学生さんのようだ。
「A Survey of Model Compression and Acceleration for Deep Neural 」の邦訳と感想 [その1]
- 2017年12月30日に投稿された記事である。
- A Survey of Model Compression and Acceleration for Deep Neural Networksの邦訳が章単位で丁寧に記載してくださっている。SlideShareもある。
- 筆者はLeapMindの山田貴登さん。
Deep Learningにおける知識の蒸留
- 2018年01月12日に投稿された記事である。
- 個人的に注目しているdistillation(蒸留)技術に絞って論文が紹介されている。
- 具体的な手法(学習のさせ方)、適用事例(アプリケーション)まで丁寧にまとめてくださっている。
- 筆者はSIerの方らしいが詳細は分からなかった。
モデル圧縮
- 2017年05月に投稿された記事のようである(記事に記載の内容から)。
- モデル圧縮に関する基本的な手法について丁寧に紹介してくださっている
- また、サンプルとして簡単にモデル圧縮を試すことができるKeras向けのコマンドラインツールも提供されている(今はTensorFlowなどで簡単に試せるかもしれないが、記事投稿時にはおそらく無かったため)
- 筆者はドワンゴメディアヴィレッジにインターンとして行かれていた草野さん。
ICLR2018におけるモデル軽量化
- 2018年05月26日に投稿されたスライド。
- 基本的な手法(量子化とか剪定とか)の説明とICLR2018で発表された(と思われる)論文について、分野ごとに紹介してくださっている。
- 筆者はDeNAの加藤倫弘さん。