DeepLearning
深層学習

深層学習をやるなら読んでおきたい玄人向けまとめ.


はじめに

この記事はもともと深層学習の入門の書籍を載せていましたが,

今だとamazonの購入に紐づいたデータをみれば,すぐにあげた本は出てきてあまり意味のあるまとめにはなっていないと感じていました.

ですので紐付きづらい本をあげてみることにしました.違和感あればコメント欄にお願いします.またはtwitterまで.


深い理解は深い基礎の理解から


入門数理統計学

著者P.G.ホーエル


統計学入門のつぎか並行して読むと理解を深くできると思います.読破する頃にはきっと深い森が少し開いて見えてくると思います.

※ちなみに私もまだ読破できてません.



数学は得意だぜもっとニューラルネットを理解したいぜという方


ニューロコンピューティング入門 POD版

著者: 坂和正敏


ニューラルネットワークの歴史の流れがわかります。2007年の本ですが、数式で紹介されているので良くわかります。現在出版されている多くの本では雑に数式が紹介されていますが(難しくてわざと扱ってない?)、こちらの本は丁寧なのでかなりお勧めです。

深層学習以前の階層型ネットワーク、ホップフィールドモデル、ボルツマンマシン、リカレントニューラルネットワーク(ReccurentNeuralNetwark)RBFネットワーク、競合学習など。他の本にはないくらい詳しく知れるのが非常に良い。

追記(2017/10/27)

上のamazonさんのリンクだとおそらく在庫不足でレプリカついてますので,以下の楽天ブックだと多分安く買えます.

https://books.rakuten.co.jp/rb/5403341/



理論の森に踏み込みたい方に


ベイズ統計の理論と方法

著者:渡辺澄夫


WAICからベイズの基礎からとてんこ盛りです。渡部先生らしい分かりやすい説明で書かれてるのでそこまで苦にならず学習できると思います。こちらも実装はできてしまうけど,結局これからどうしていけば性能が上がるのか分からなくなったり,理論を深追いしたい人が読むといいでしょう。本当におすすめです。



Algebraic Geometry and Statistical Learning Theory (Cambridge Monographs on Applied and Computational Mathematics)

著者:渡部澄夫



英語もできるならこちらもぜひ。

代数幾何と学習理論と内容はほとんど一緒だと思いますが,8章が追加されててWAICについて書かれています。おすすめです!




代数幾何と学習理論 (知能情報科学シリーズ)

著者:渡辺澄夫


2006年から発売されている本なので深層学習専門の本ではありませんが,理論を研究したい人。または深層学習の新しいアルゴリズムを作りたい人向けです。私自身まだ全て読めていませんが,他の本とは一味二味も違う理論の森に潜りたい人におすすめします。



渡辺澄夫 先生のホームページにも詳しく掲載されています。(2017/10/24日現在リンクあり)

全文英語ですのでgoogle翻訳使いながら読みましょう。

Statistical Learning Theory, Part I

統計的学習理論についての解説であり,様々なニューラルネットワークモデルについての説明とディープラーニングなどAIC,BIC,WAIC,WBICまで.matlabのソースコードもあって親切です。



統計科学のフロンティアシリーズ 


特異モデルの統計学-未解決問題への新しい視点 (統計科学のフロンティア) Kindle版

著者:福水 健次,栗木 哲,‎竹内 啓,‎ 赤平 昌文




計算統計 II-マルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア) Kindle版

著者:伊庭 幸人,種村 正美,大森 裕浩,和合 肇,佐藤 整尚,高橋 明彦



基礎系 数学 最適化と変分法 (東京大学工学教程)

著者:寒野 善博, 土谷 隆



基本的な最適化の考えが身につけられます.深層学習をやるなら最適化は抑えときたいですね.



機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ)

著者:金森 敬文, 鈴木 大慈, 竹内 一郎, 佐藤 一誠

内容は最適化と変分法と似ていますが,こちらは機械学習に応用するならという前提で書かれておりサポートベクトルマシンの最適化やEMアルゴリズムの考え方なども学べてこちらもおすすめです.



その他

@jintaka1989 さんオススメサイト

深層学習の原理については下記の無料のオンライン書籍がとても良いです。導入部分では身近な例えでわかりやすく説明がされていますし、ニューラルネットワークのグラフの数値をボタンで変えて関数の近似を行うなど、手を動かして学べるようになっています。これは紙の本ではできないことです。

http://nnadl-ja.github.io/nnadl_site_ja/



Deep Learning

An MIT Press book

http://www.deeplearningbook.org/


こちらはオンラインでPDFで見ることができます。理論なども詳しく書かれています。言語が英語ですが・・・。


MITが無償でこうしている自動運転について学べる講座。動画で現在も更新されている。(2018/02/12)

web上で動くシミュレータやゲームなどを利用して学ぶことができる。講義は英語なので英語が聞けないと少しきつい(いや結構かもしれないw)

[Screenshot from 2017-02-12 05:13:26.png

video_vis1.png"

http://selfdrivingcars.mit.edu/



おわりに

ディープラーニングの本はしょっちゅう出てて、いい本、そんなんHP見ればもっと詳しく載っているよという買う価値のない本が散見されています。専門が人工知能で生きていこうと思っているので片っ端からそういう本も買って老害ちっくに文句を発信しています。

ですが上にあげた岡谷さんのような理論書というのはすぐ変わるものではありません。tensorfolowなんてものはいづれ、廃れるでしょうが理論は基本的には永久です。そういう意味では安っぽい意味のない本を買うよりは理論を勉強すればもっと財布にも優しくなるのではないかというのが私の経験上の感想です。

また、最後にGitXibという論文とGithubに公開されているソースコードをセットで閲覧できる素晴らしいサイトがあるので紹介します。

http://www.gitxiv.com/

こちらは最近はもっぱら深層学習についてのもののみ上位に上がっているので意味があると思います。できれば毎日見たほうがいいでしょう。

今の深層学習は学習に時間がかかるのが難点ですが(これからもっといい方法が出るでしょう。ハードウェアのアプローチからも)、学習さえ済めば後はスピードもそこそこ出るので。まずは作ってみることが一番の勉強方法だと思います。