Do2dle（ドゥードゥル）第九回勉強会（Pythonで体験する 深層学習 第一回）で使用した
Pythonで体験する深層学習 1章輪講用の資料です。
補足を行っていますが、その箇所はわかるようにしています。
この章は序章であり、特記することはありません。
2章は大量に補足していますのでこちらを見ていただければありがたいです。
Pythonで体験する深層学習 2章(輪講用資料)
http://qiita.com/taki_tflare/items/b3032980568d6ea69d84
1. はじめに
深層学習とは、ニューロンの層が多段に組み上げられたニューラルネットワークのことである。
深層学習により音声認識、物体認識、物体検出、自然言語処理、創薬ゲノミクスなどの多くの領域で進展が見られた。
1.1 深層学習の現状
(発表者によるコメント 始まり)
まずILSVRCとは何かを抑えておきましょう。
以下別資料参照。後の章に行くとILSVRCのテストがわかっていることが必要になります。
ILSVRCとは何か？
(発表者によるコメント 終わり)
ILSVRC2014では、出場36チーム中35チームが深層学習を採用した。
ILSVRC2015では、Fast R-CNNもしくは、Faster R-CNNを用いたチームが多い。
Fast R-CNN等の詳細は5.7参照
深層学習では、ソースの可読性が重視され、また並列処理を安価に行えるGPUのため、PythonとGPUを前提とした開発環境は必須である。
1.3 実践による理解
(発表者によるコメント 始まり)
Caffe、Chainer、Tensorflow、Theanoについて、
著者は2016年2月13日のデータを示しているが、
2016年10月9日時点のデータでは圧倒的な差がついている。
必要なモデルが有るパッケージを使用すればよいが
何か1つを選ぶのであれば、Tensorflowが良いと思える。
2016年10月9日 10:00時点
- Caffe Watch 1,600 Star 12,958 Fork 7,923
- Chainer Watch 189, Star 1,693 Fork 426
- Tensorflow Watch 3,179 Star 33,651 Fork 14,734
- Theano Watch 445 Star 4,687 Fork 1,661
(発表者によるコメント 終わり)
1.4 本書で使用した環境
Ubuntu(14.04, 15.10)
Mac OS X 10.11
Python 2.7
ユニコードの対応を考えれば、将来3系に移行したほうが良いであろう。
しかし互換性への対応で時間を浪費するより2.7系で動作を確認するのが理解への早道である。
(発表者によるコメント 始まり)
Python 2系 3系の分離は厄介な問題である。
著者は上記のように書いているが、Python3系を基本的に使えば良いと考える。
もしよく使うものであれば、自力で2系から3系にコンバートするのも一手である。
2to3を使用することで、全てではないが、コード変換が可能である。
(発表者によるコメント 終わり)
1.7 理論及び技術の展開
理論については後の章で説明
GPUについて、40日以上要していた学習が3日以内で収束するのであれば試す気にもなる。
(発表者によるコメント 始まり)
機械学習においては、大量の処理時間がかかるものが多いため、そのための処理時間を確保することが必要となる。
例えば強化学習によるゲーム実行をする場合、2〜3日後に得点が跳ね上がるケースが有り、収束がいつ行われるのかがよくわからない。
（このケースではGoogle Cloud PlatformでCPUのみ使用）
こういったケースではGPUで確認できると、単純に確認の時間が短くなれば、試せるケースが増えるためとてもありがたいものである。
おまけGoogle Cloud Platformでは、
東京リージョンでベータテスターを募集しているので
申し込んでみるのも良いかもしれません。
https://cloud.google.com/about/locations/
(発表者によるコメント 終わり)
1.9 本書の構成
3章は古典伝承の履歴、既知の場合には読む必要がない。
4章はこの10年の核となる考えを記述した。畳み込みネットワーク、LSTM、確率的勾配降下法である。
5章は画像認識、言語情報処理
6章は画像の脚注自動生成、強化学習との組み合わせ、顔情報処理である。
章末問題 1.
1.3に記載済み
章末問題 2.
171,204円
北米等一部地域でのみNVIDIA公式通販限定で8月2日から発売
日本国内でも2016年10月6日から販売開始
NVIDIA TITAN X
CUDAコア:3584 , メモリ 12GB GDDR5X
章末問題 3.
モデルは2016年もfast-RCNNです。詳細は5.7参照
章末問題 4.
ペン・ツリー・バンク（PTB）データセット
以下を参照ください。
https://www.tensorflow.org/versions/master/tutorials/recurrent/index.html#recurrent-neural-networks
参考
ILSVRCとは何か？
http://qiita.com/taki_tflare/items/40bd1313d85513b4b861
Pythonで体験する深層学習 2章(輪講用資料)
http://qiita.com/taki_tflare/items/b3032980568d6ea69d84