MIT Pressの本
ディープ・ラーニングの教科書は、学生や実務者が一般的な機械学習の分野や特に深い学習の分野に参入するのを支援するためのリソースです。
本のオンライン版が完成し、オンラインで引き続き無料で利用できます。
目次 謝辞 記法
1はじめに パートI：応用数学と機械学習の基礎
2線形代数
3確率論と情報理論
4数値計算
5機械学習の基礎 パートII：近代的な実践的な深いネットワーク
6深部フィードフォワードネットワーク
7深い学習の正規化
8ディープモデルのトレーニングのための最適化
9畳み込みネットワーク
10シーケンスモデリング：再帰的および再帰的ネット
11実践的方法論
12アプリケーション パートIII：深い学習研究
13線形因子モデル
14オートエンコーダ
15表現の学習
16深層学習のための構造化確率モデル
17モンテカルロ法
18パーティション機能との対立ち
19近似推論
20の深いジェネレーションモデル
参考文献 インデックス
http://www.deeplearningbook.org/
natureのDeep learning記事
お金払わないと読めなかった。
概要と参考文献のみ。１０００円くらい払えば読むことはできるそうな。
めんどくさいのでべたっと。時間ができたらもぉちょっとちゃんと見よう。
概要
深い学習は複数の処理層から構成されている計算モデルは、複数の抽象化レベルでのデータの表現を学ぶことができます。これらの方法は、劇的に、音声認識、視覚オブジェクト認識、オブジェクト検出及び、薬物発見およびゲノムのような多くの他のドメインの最先端が改善されています。深い学習は、マシンが前の層での表現から、各レイヤでの表現を計算するために使用され、その内部パラメータを変更する方法を示すために、バックプロパゲーションアルゴリズムを用いて、大規模なデータセットで複雑な構造を発見します。再発ネットは、テキストや音声などの連続したデータに光を照らしたしているのに対し、深い畳み込みネットは、画像処理、映像、音声、およびオーディオでのブレークスルーをもたらしています。
リファレンス
Krizhevsky、A.、 Sutskever、I.＆ヒントン、G.深い畳み込みニューラルネットワークとImageNet分類。で PROC。ニューラル情報処理システムの進歩は、25 1090 - 1098（ 2012）。
このレポートでは、ほとんどの物体認識のためのエラー率を半分にたたみ込みネットを使用する画期的だった、とコンピュータビジョンコミュニティによって深い学習の急速な普及を沈殿させました。
Farabet、C.、 Couprie、C.、 Najman、L.＆ LeCun、Y. シーン標識のための階層的特徴を学ぶ。 IEEEトランス。パターンアナル。マッハ。Intell。 35、 1915年 - 1929年（ 2013年）。
ISIPubMedの記事
トンプソン、J.、ジャイナ教、A.、 LeCun、Y.＆ Bregler、C.共同畳み込みネットワークの訓練と人間のためのグラフィカルモデルは、姿勢推定。で PROC。ニューラル情報処理システム27の進歩 1799年 - 1807（ 2014）。
Szegedy、C. ら。回旋と深く行きます。でプレプリント http://arxiv.org/abs/1409.4842（ 2014）。
Mikolov、T.、 Deoras、A.、 Povey、D.、 Burget、L.＆ Cernocky、J.大規模ニューラルネットワークの言語モデルを訓練するための戦略。で PROC。自動音声認識・理解 196 - 201（ 2011）。
ヒントン、G. ら。音声認識における音響モデリングのためのディープニューラルネットワーク。 IEEE信号処理マガジン 29、 82 - 97（ 2012）。
タスクに深い学習で達成突破口をまとめた主要な音声認識の研究室からこの共同論文、自動音声認識のための音声分類の、深い学習の最初の主要な産業用アプリケーションでした。
ISI記事
Sainath、T.、モハメド、A.-R.、キングスベリー、B.＆ Ramabhadran、Bの大語彙連続音声認識のためのディープ畳み込みニューラルネットワーク。で PROC。音響、音声および信号処理 八千六百十四 - 8618（ 2013）。
馬、J.、シェリダン、RP、 Liaw、A.、ダール、GE＆ Svetnik、V. 定量的構造活性相関のための方法として、ディープニューラルネット。 J. CHEM。infファイル。モデル。 55、 263 - 274（ 2015）。
CASPubMedの記事
Ciodaro、T.、仁王門、D.、デセイシャシュ、J.＆ Damazio、D. トポロジカル熱量測定情報に基づいて、ニューラルネットワークを使用したオンライン粒子検出。 J. PHYS。研究会。シリーズ 368、 012030（ 2012）。
CAS記事
Kaggle。ヒッグス粒子の機械学習課題。Kaggle https://www.kaggle.com/c/higgs-boson（2014）。
Helmstaedter、M. ら。マウスの網膜の内網状層のConnectomic再建。自然 500、 168 - 174（ 2013）。
CASISIPubMedの記事
レオン、MK、熊、HY、リー、LJ＆フレイ、BJ 組織規制スプライシングコードの深い学習。バイオインフォマティクス 30、 I121 - i129（ 2014）。
CASPubMedの記事
熊、HY ら。人間のスプライシングコードが疾患の遺伝的決定に新たな洞察を明らかにする。科学 347、 6218（ 2015）。
CAS記事
Collobert、R.、ら。最初から自然言語処理（ほぼ）。 J. マッハ。こちらをご覧ください。RES。 12、二四九三 - 2537（ 2011）。
ISI
ボルド、A.、チョプラ、S＆ウェストン、J.質問部分グラフの埋め込みと答えます。で PROC。自然言語処理における経験的方法 http://arxiv.org/abs/1406.3676v3（ 2014）。
ジーン、S.、チョー、K.、 Memisevic、R.＆ Bengio、Y.神経機械翻訳のために非常に大きなターゲット語彙を使用してオン。で PROC。ACL-IJCNLP http://arxiv.org/abs/1412.2007（ 2015）。
Sutskever、I. Vinyals、O.＆ル。QVのニューラルネットワークの学習シーケンスとシーケンス。で PROC。ニューラル情報処理システムの進歩は、27 3104 - 3112（ 2014）
本論文では、文献で導入アーキテクチャと最先端の機械翻訳結果を示しました。72、、1言語の文章を読んで、その意味の意味表現を生成し、別の言語での翻訳を生成するために訓練されたリカレントネットワークと。
Bottou、L.＆ブスケ、O.大規模な学習のトレードオフ。で PROC。ニューラル情報処理システムの進歩20 161 - 168（ 2007）。
ドゥダ、RO＆ハート、PEの パターン分類と情景分析（ワイリー、 1973）。
Schölkopf、B.＆スモラ、A. カーネルと学習（MITプレス、 2002年）。
Bengio、Y.、 Delallea氏、O.＆ル・ルー、N.ローカルカーネルマシンの非常に可変機能の呪い。で PROC。ニューラル情報処理システムの進歩18 107 - 114（ 2005）。
セルフリッジ、OGパンデモニウム：思考プロセスの機械に学習するためのパラダイム。で PROC。思考の機械化に関するシンポジウムは、プロセス 513 - 526（ 1958）。
ローゼンブラット、F. ザパーセプトロン-知覚と認識オートマトン。テック。議員。85-460-1（コーネル航空研究所、 1957）。
Werbos、P. ビヨンド回帰：行動科学における予測と分析のための新しいツール。博士論文、ハーバード大学。（ 1974年）。
パーカー、DB の学習ロジックレポートTR-47（MITプレス、 1985年）。
LeCun、Y.におけるネットワーク非対称しきい値の学習手順 cognitiva 85：知識と神経科学のフロンティア人工知能、科学 [フランス語] 599 - 604（ 1985）。
ルーメルハート、DE、ヒントン、GE＆ウィリアムズ、RJ 逆伝播エラーによって学習表現。自然 323、 533 - 536（ 1986）。
ISI記事
Glorot、X.、ボルド、A.＆ Bengio。Y.ディープスパース整流ニューラルネットワーク。で PROC。第14回人工知能や統計に関する国際会議 315 - 323（ 2011）。
本稿では、隠れ層がReLUから構成されている場合は非常に深いニューラルネットワークの教師がはるかに高速であることを示しました。
ドーフィン、Y. ら。識別と高次元の非凸最適化におけるサドル点の問題を攻撃します。で PROC。ニューラル情報処理システム27の進歩 2933 - 2941（ 2014）。
Choromanska、A.、 Henaff、M.、マチュー、M.、 AROUS、GB＆ LeCun、Y.多層ネットワークの損失面。で PROC。AIと統計に関する会議 http://arxiv.org/abs/1412.0233（ 2014）。
ヒントン、GEは、グラフィカルモデルのどのような脳のですか？で PROC。第19回人工知能に関する国際合同会議 1765年 - 1775年（ 2005年）。
ヒントン、GE、 Osindero、S＆テー、Y.-W. 深い信念ネットのAの高速学習アルゴリズム。ニューラルコンプ。 18、 1527 - 1554（ 2006）
本論文では、小説や研修の効果的な方法非常に深い神経を導入しました制限されたボルツマンマシンのための教師なし学習手順を使用して一度に事前研修1つの隠れ層によるネットワーク。
記事
Bengio、Y.、 Lamblin、P.、 Popovici、D＆ Larochelle、H. 深いネットワークの貪欲層状トレーニング。でprocが。ニューラル情報処理システムにおける進歩19 153 - 160（ 2006）。
このレポートでは、教師なし事前トレーニング方法は、参考文献で紹介していることを実証しました。32は大幅にテストデータのパフォーマンスを向上させ、オートエンコーダーなどの他の教師なしの表現・学習技術への方法を一般化します。
Ranzato、M.、 Poultney、C.、チョプラ、S＆ LeCun、Y.エネルギーベースのモデルとスパース表現の効率的な学習。で PROC。ニューラル情報処理システム19の進歩 1137 - 1144（ 2006）。
ヒントン、GE＆ Salakhutdinov、R. ニューラルネットワークとデータの次元を削減する。科学 313、 504 - 507（ 2006）。
CASISIPubMedの記事
Sermanet、P.、 Kavukcuoglu、K.、 Chintala、S＆ LeCun、Y.の教師なし多段機能の学習と歩行者検出。で PROC。コンピュータビジョンとパターン認識に関する国際会議 http://arxiv.org/abs/1212.0142（ 2013）。
ライナ、R.、 Madhavan、A.＆呉、AYグラフィックスプロセッサを使用して大規模な深い教師なし学習。で PROC。機械学習上の第26回国際会議 873 - 880（ 2009）。
モハメド、A.-R.、ダール、GE＆ヒントン、G. 深い信念ネットワークを用いた音響モデル。 IEEEトランス。オーディオスピーチラング。プロセス。 20、 14 - 22（ 2012）。
ISI記事
ダール、GE、ゆう、D.、鄧小平、L.＆ Acero、A.の 大語彙音声認識のためのコンテキスト依存事前訓練を受けた深いニューラルネットワーク。 IEEEトランス。オーディオスピーチラング。プロセス。 20、 33 - 42（ 2012）。
記事
Bengio、Y.、 Courville、A.＆ヴィンセント、P.の 表現学習：レビューと新たな視点。 IEEEトランス。パターンアナル。マシンIntell。 35、 1798年 - 1828年（ 2013年）。
記事
LeCun、Y. ら。バックプロパゲーションネットワークと手書き数字認識。で PROC。ニューラル情報処理システムの進歩 396 - 404（ 1990）。
これは、手書き数字の低解像度画像を分類するタスクのためにバックプロパゲーションによって訓練畳み込みネットワーク上の最初の論文です。
LeCun、Y.、 Bottou、L.、 Bengio、Y.＆ハフナー、P. グラデーションベースの学習は、認識をドキュメントに適用。 PROC。IEEE 86、二二七八 - 2324（ 1998）
、そのような勾配ベースの最適化を使用して、深いニューラルネットワークなどのモジュラーシステムのエンド・ツー・エンドのトレーニングの原則に関するこの概要論文を組み合わせることができる方法をニューラルネットワーク（特に畳み込みネットで）を示しました検索や推論機構と、文書の内容に関連した文字の並びとして相互に依存している複雑な出力を、モデル化します。
ISI記事
ヒューベル、DH＆ウィーゼル、TN 猫の視覚野における受容野、両眼の相互作用、および機能アーキテクチャ。 J. Physiol。 160、 106 - 154（ 1962）。
CASISIPubMedの記事
Felleman、DJ＆エッセンは、DCVは、 霊長類の大脳皮質に階層処理を分散。勉強家。皮質 1、 1 - 47（ 1991）。
CASISIPubMedの記事
Cadieu、CF ら。ディープニューラルネットワークは、コア視覚物体認識のための霊長類のそれ皮質の表現に匹敵。 PLoSのコンプ。BIOL。 10、 e1003963（ 2014）。
記事
福島、K.＆三宅、S. ネオコグニトロン：位置の変形やシフトの寛容パターン認識のための新しいアルゴリズム。パターン認識 15、 455 - 469（ 1982）。
ISI記事
ワイベル、A.、花澤、T.、ヒントン、GE、鹿野、K.＆ラング、K. 音素認識時間遅延ニューラルネットワークを用いた。 IEEEトランス。音響音声信号処理。 37、 328 - 339（ 1989）。
ISI記事
Bottou、L.、 Fogelman-スーリエ、F.、ブランシェ、P.＆ Lienard、J.の話者に依存しない孤立数字認識のためのワープ時間遅延ネットワークを用いた実験と動的時間。で PROC。EuroSpeech 89 537 - 540（ 1989）。
Simard、D.、スタインクラウス、PY＆プラット、JC畳み込みニューラルネットワークのためのベストプラクティス。で PROC。文書分析と認識 958 - 963（ 2003）。
ヴァイヨン、R.、 Monrocq、C.＆ LeCun、Y.画像内のオブジェクトの局在化のためのオリジナルアプローチ。で PROC。ビジョン、画像、および信号処理 141、 245 - 250（ 1994）。
ノーラン、S.＆プラット、Jにおける神経情報処理システム 901 - 908（ 1995）。
ローレンス、S.、ジャイルズ、CL、 TSOI、AC＆バック、AD 顔認識：畳み込みニューラルネットワークアプローチ。 IEEEトランス。ニューラルネットワーク 8、 98 - 113（ 1997）。
CASISI記事
Ciresan、D.、マイヤー、U. Masci、J.＆シュミット、J. 交通標識の分類のためのマルチカラム深いニューラルネットワーク。ニューラルネットワーク 32、 333 - 338（ 2012）。
ISIPubMedの記事
寧、F. ら。ビデオからの胚の開発の自動表現型に向けて。 IEEEトランス。画像処理。 14、 1360 - 1371（ 2005）。
ISIPubMedの記事
Turaga、SC ら。畳み込みネットワークは、画像セグメンテーションのための親和性グラフを生成することを学ぶことができます。ニューラルComput。 22、 511 - 538（ 2010）。
ISIPubMedの記事
ガルシア、C.＆ Delakis、M. 畳み込み顔ファインダー：高速かつ堅牢な顔検出のための神経回路アーキテクチャ。 IEEEトランス。パターンアナル。マシンIntell。 26、 1408 - 1423（ 2004）。
記事
Osadchy、M.、 LeCun、Y.＆ミラー、M. 相乗顔検出およびエネルギーベースのモデルで推定をもたらす。 J. マッハ。こちらをご覧ください。RES。 8、 1197 - 1215（ 2007）。
ISI
トンプソン、J.、 Goroshin、RR、ジャイナ教、A.、 LeCun、YY＆ Bregler、CC畳み込みネットワークを用いた効率的な物体の位置特定。で PROC。コンピュータビジョンとパターン認識会議 http://arxiv.org/abs/1411.4280（ 2014）。
Taigman、Y.、ヤン、M.、 Ranzato、M.＆ウルフ、L. Deepface：顔照合におけるヒト・レベルのパフォーマンスにギャップを埋めます。で PROC。コンピュータビジョンとパターン認識会議 1701 - 1708（ 2014）。
Hadsell、R. ら。自律オフロード走行のための長期的なビジョンを学ぶ。 J. フィールドロボット。 26、 120 - 144（ 2009）。
ISI記事
Farabet、C.、 Couprie、C.、 Najman、L.＆ LeCun、Y.シーンマルチスケール機能学習、純度の木、最適なカバーを解析します。で PROC。機械学習に関する国際会議 http://arxiv.org/abs/1202.2160（ 2012）。
Srivastava氏、N.、ヒントン、G.、 Krizhevsky、A.、 Sutskever、I.＆ Salakhutdinov、R. ドロップアウト：オーバーフィッティングからニューラルネットワークを防止するための簡単な方法。 J. 機械学習RES。 15、 1929年 - 1958年（ 2014年）。
ISI
Sermanet、P. ら。Overfeat：畳み込みネットワークを使用して統合認識、局在化および検出。で PROC。学習表現に関する国際会議 http://arxiv.org/abs/1312.6229（ 2014）。
Girshick、R.、ドナヒュー、J.、ダレル、T.＆マリク、J.正確な物体検出およびセマンティックセグメンテーションのための豊富な機能階層。で PROC。コンピュータビジョンとパターン認識会議 580 - 587（ 2014）。
Simonyan、K.＆ Zisserman、A.大規模画像認識のための非常に深い畳み込みネットワーク。で PROC。学習表現に関する国際会議 http://arxiv.org/abs/1409.1556（ 2014）。
Boser、B.、 Sackinger、E.、ブロムリー、J.、 LeCun、Y.＆ Jackel、L. プログラマブルトポロジーとアナログニューラルネットワークプロセッサ。 J. 固体素子回路 26、 2017年 - 2025年まで（ 1991年）。
ISI記事
Farabet、C. ら。大規模FPGAベースの畳み込みネットワーク。並列分散アプローチ：機械学習スケールアップ（編Bekkerman、R.、Bilenko、M.＆ラングフォード、J.） 399 - 419（ケンブリッジ大学プレス、 2011）。
Bengio、Y. AIのための学習ディープアーキテクチャ（今、 2009）。
Montufar、G.＆モートン、J. 生成物の混合物は、混合物の製品が含まれていますか？ J. 離散数学。 29、 321 - 347（ 2014）。
記事
Montufar、GF、 Pascanu、R.、チョー、K.＆ Bengio、Y.深いニューラルネットワークの線形領域の数について。で PROC。ニューラル情報処理システム27の進歩 2924 - 2932（ 2014）。
Bengio、Y.、 Ducharme、R.＆ヴィンセント、P.神経確率的言語モデル。で PROC。ニューラル情報処理システムの進歩13 932 - 938（ 2001）。
本論文では、シーケンス内の次の単語を予測するために学んだ意味素性から構成される単語ベクトルまたはワード埋め込みにワードシンボルに変換することを学ぶ神経言語モデルを導入しました。
チョー、K. ら。統計的機械翻訳のためのRNNのエンコーダ・デコーダを使用して、フレーズ表現を学びます。で PROC。自然言語処理における実証的手法の会議 1724 - 1734（ 2014）。
SCHWENK、H. 連続空間言語モデル。コンピュータスピーチラング。 21、 492 - 518（ 2007）。
ISI記事
Socher、R.、林、C. CY。 、マニング、C.＆呉、AY再帰的ニューラルネットワークと自然のシーンと自然言語の構文解析。で PROC。機械学習に関する国際会議 129 - 136（ 2011）。
Mikolov、T.、 Sutskever、I.、陳、K.、コラード、G.＆ディーン、Jは、単語やフレーズとそのcompositionalityの表現を分散。で PROC。ニューラル情報処理システム26の進歩 3111 - 3119（ 2013）。
Bahdanau、D.、チョー、K.＆ Bengio、Y.神経機械翻訳共同で整列し、翻訳することを学ぶこともできます。で PROC。学習表現に関する国際会議 http://arxiv.org/abs/1409.0473（ 2015）。
Hochreiter、S. [ドイツ語]動的ニューラルネットワークに関する研究ディプロマ論文、ミュンヘン工科大学（ 1991年）。
Bengio、Y.、 Simard、P.＆フラスコーニ、P. 勾配降下との長期的な依存関係を学習することは困難である。 IEEEトランス。ニューラルネットワーク 5、 157 - 166（ 1994）。
CASISI記事
Hochreiter、S.＆シュミット、J. 長期短期記憶。ニューラルComput。 9、 1735 - 1780（ 1997）。
本稿では、彼らが優れているので、リカレントネットワークとの最近の進歩において重要な成分となっているLSTMリカレントネットワークを導入しました長距離依存関係を学んで。
CASISIPubMedの記事
ElHihi、S.＆ Bengio、Y.長期の依存関係のための階層型リカレントニューラルネットワーク。で PROC。ニューラル情報処理システムの進歩8 http://papers.nips.cc/paper/1102-hierarchical-recurrent-neural-networks-for-long-term-dependencies（ 1995）。
Sutskever、I. トレーニングリカレントニューラルネットワーク。博士論文、大学。トロント（ 2012年）。
Pascanu、R.、 Mikolov、T.＆ Bengio、Y.リカレントニューラルネットワークを訓練することの難しさについて。で PROC。機械学習上の第30回国際会議 1310 - 1318（ 2013）。
Sutskever、I.、マルテンス、J.＆ヒントン、GEリカレントニューラルネットワークとの生成テキスト。で PROC。機械学習上の第28回国際会議 1017 - 1024（ 2011）。
レイコフ、G.＆ジョンソンは、M. メタファーは、我々はによって生きる（大学シカゴプレス、 2008年）。
ロジャース、TT＆マクレランド、JL セマンティック認知：並列分散処理アプローチ（MITプレス、 2004年）。
徐、K. ら。ショー、出席と言う：神経画像字幕生成を視覚的注意と。で PROC。学習表現に関する国際会議 http://arxiv.org/abs/1502.03044（ 2015）。
グレイブス、A.、モハメド、A.-R.＆ヒントン、G.深いリカレントニューラルネットワークと音声認識。で PROC。音響に関する国際会議、音声および信号処理 6645 - 6649（ 2013）。
グレイブス、A.、ウェイン、G.＆ Danihelka、I.神経チューリングマシン。 http://arxiv.org/abs/1410.5401（ 2014）。
ウェストン、J. チョプラ、S.＆ボルド、A.のメモリネットワーク。 http://arxiv.org/abs/1410.3916（ 2014）。
ウェストン、J.、ボルド、A.、チョプラ、S＆ Mikolov、T. AI完全質問応答に向けて：前提条件おもちゃのタスクのセット。 http://arxiv.org/abs/1502.05698（ 2015）。
ヒントン、GE、ダヤン、P.、フレイ、BJ＆ニール、RM 教師なしニューラルネットワークのためのウェイクスリープアルゴリズム。科学 268、 1558 - 1161（ 1995）。
PubMedの記事
Salakhutdinov、R.＆ヒントン、G.ディープボルツマンマシン。で PROC。人工知能や統計に関する国際会議 448 - 455（ 2009）。
ヴィンセント、P.、 Larochelle、H.、 Bengio、Y.＆ Manzagol、P.-A.抽出と雑音除去オートエンコーダとの強力な機能を構成します。で PROC。機械学習上の第25回国際会議 1096 - 1103（ 2008）。
Kavukcuoglu、K. ら。視覚認識のための畳み込み機能階層を学びます。で PROC。ニューラル情報処理システム23の進歩 1090 - 1098（ 2010）。
グレゴール、K.＆ LeCun、Y.は、スパースコーディングの高速近似を学びます。で PROC。機械学習に関する国際会議 399 - 406（ 2010）。
Ranzato、M.、 Mnih、V.、ジュスキント、JM＆ヒントン、GE ゲート付きのMRFを使用してモデル化自然画像。 IEEEトランス。パターンアナル。機械Intell。 35、 2206 - 2222（ 2013）。
記事
Bengio、Y.、 Thibodeau-ラウファー、E.、アラン、G.＆ Yosinski、J.バックプロパゲーションにより、訓練可能なディープ生成的確率的ネットワーク。で PROC。機械学習上の第31回国際会議 226 - 234（ 2014）。
Kingma、D.、 Rezende、D.、モハメド、S＆ウェリング、M.深い生成モデルと半教師付き学習。で PROC。ニューラル情報処理システム27の進歩 3581 -三千五百八十九（ 2014）。
Ba、J.、 Mnih、V.＆ Kavukcuoglu、K.視覚的注意を持つ複数の物体認識。で PROC。学習表現に関する国際会議 http://arxiv.org/abs/1412.7755（ 2014）。
Mnih、V. ら。深い強化学習を通して人間レベルの制御。自然 518、 529 - 533（ 2015）。
CASISIPubMedの記事
Bottou、L. 機械学習から機械推論に。マッハ。こちらをご覧ください。 94、 133 - 149（ 2014）。
ISI記事
Vinyals、O.、 Toshev、A.、 Bengio、S＆エルハン、D.ショーと言う：神経画像のキャプションジェネレータ。で PROC。機械学習に関する国際会議 http://arxiv.org/abs/1502.03044（ 2014）。
ファンデMaaten、L.＆ヒントン、GE トン-SNEを使用して可視化データ。 J. マッハ。Learn.Research 9、 2579 - 2605（ 2008）。
http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html
ヤン・LeCunさんの講義動画
Yann LeCun
情報・計算科学研究
Informatics and Computational Sciences (2015-2016)
ディープラーニング：人工知能の革命
なぜディープラーニング？
多層ネットワークとグラデーションベースのバックプロパゲーション
実践の深い学習
畳み込みニューラルネットワーク
畳み込みネットワークとビジョンにおけるその応用
リカレントニューラルネットワークと自然言語処理におけるその応用
推論、注意、記憶
教師なし学習
ディープ学習：理論と実践
畳み込みニューラルネットワークの背後にある数学の謎
最適化とトレーニングリカレントネットワーク
音声認識
構造化予測のための計量学習
翻訳と自然言語処理
深い学習と推論、メモリ、オーグメンテッド・ネットワーク
https://www.college-de-france.fr/site/en-yann-lecun/inaugural-lecture-2015-2016.htm
FB動画
人工知能、明らかに
導入
インテリジェントマシンのアイデアは何世紀も人々を魅了してきました。 サイエンスフィクションのようなものに見えるかもしれないが、人々は今日、スマートフォン、住宅、車などで毎日人工知能を利用している。 私たちの世界でますます普及しています。 Facebookでは、AIを使用して言語間でテキストを翻訳したり、視覚障害のある人の画像を記述したりします。 このビデオでは、私たちのAI研究の責任者、ヤン・ルクン（Yann LeCun）が、これを可能にする重要な概念のいくつか、なぜ気にするべきかを説明します。
https://translate.googleusercontent.com/7d6053fe-32d7-4e01-9dc7-dbd8127a722a
機械学習
車と犬の違いを教えてください。 それはおそらくあなたにとっては簡単ですが、どのようにコンピュータを教えるのは非常に複雑です。 プロセスは機械学習と呼ばれ、適切なアルゴリズムを使用して、画像内のオブジェクトを認識するようにコンピュータを訓練することができます。 このビデオをチェックして、どのように動作するのかを知ることができます。
https://translate.googleusercontent.com/1a174ad8-609c-4070-a746-708406202aea
勾配降下
人工知能はすべて数学に関するものです。 例：グラデーションディセントは、コンピュータのトレーニング中に使用される数学的手法です。 トレーニングのすべての調整が最終結果の精度にどのように影響するかを計算することにより、エラーレベルの低い画像（車や犬のようなもの）をコンピュータが区別できるように教えることができます。 このビデオはどのように説明します。
https://translate.googleusercontent.com/a67b9914-f14f-456a-ab65-28a1db953391
深い学習
あなたが犬を見るとき、あなたはすぐにそれが犬であることを知っています。 しかし、コンピュータは異なった働きをします。 イメージを理解するために、インテリジェント・マシンはいくつかのステップを完了するか、全体を構成するすべてのフィーチャーを識別するための処理の「レイヤー」を完了する必要があります。 これは深い学習です。 このビデオを見て、どのようにコンピュータが「考える」かについてのウィンドウを見てください。
https://translate.googleusercontent.com/81da732b-fa64-4d58-a479-143ab9bfbf82
逆伝播
深い学習では、コンピュータは、画像内のオブジェクトを識別するために、いくつかの層の処理を実行します。 このように、各処理レイヤが最終結果にどのような影響を与えるかを知ることが重要です。 バックプロパゲーションと呼ばれるアルゴリズムがこれを可能にします。 もっと詳しく知る：
https://translate.googleusercontent.com/ca0cc278-b69b-4542-bdfe-97a0901fabf5
畳み込みニューラルネットワーク
画像では、同じオブジェクトがさまざまな位置に表示されます。たとえば、犬は横たわったり起立したり、ジャンプしたり、後ろ向きになることがあります。 これは、コンピュータが可能な限りすべての形で犬を認識することを非常に困難にする。 そうするために、私たちは畳み込みニューラルネットワークを使用します。これは、人間の脳の構造からインスピレーションを得た深い学習システムを構築する方法です。 犬の特定の部分をそれぞれ認識する複数の検出器により、コンピュータはその対象をよりよく認識することができる。 これはテキスト認識、音声理解にも役立ち、多くの自家用車の一部です。
https://translate.googleusercontent.com/Engineering/videos/10154673887922200/
サマリー
https://code.facebook.com/pages/1902086376686983
引用よう
@unpublished{Goodfellow-et-al-2016-Book,
title={Deep Learning},
author={Ian Goodfellow and Yoshua Bengio and Aaron Courville},
note={Book in preparation for MIT Press},
url={http://www.deeplearningbook.org},
year={2016}
}
いろいろあるみたいでメモしたけども、個人的にはゼロから作るDeep Learningの勉強を進める。