この記事について
この記事は筆者がCourseraの"Deep Learning"というオンライン授業を受ける中で、思考を整理したり、知らなかったことを書き留めるための私的なメモである。
なおこの記事では（多分Deep Learningのオンライン授業もその前提だと思いますが）Courseraの別のオンライン授業、Ng Andrew先生の"Machine Learning"を既習のものとしています。
私的なメモではありますが、筆者と同じくMachine Learningの授業を一通り終えたけど、まだDeep Learningには馴染みがないという方には少しばかりか学習の助けになれば幸いです。
コース1-Week1 ディープラーニングへの誘い
ニューラルネットワーク応用例とその種類
- オンライン広告、不動産価格：標準的なニューラルネットワーク（全結合？）
- 画像認識：CNN
- 音声認識：RNN（再帰型ニューラルネットワーク）音声は１次元の時系列データ（シーケンスデータ）なので
- 翻訳：RNN 。言語では漢字やアルファベットのような文字が1つずつ表されるので必然的にシーケンスデータ
- 自動運転：画像にはCNN。レーダーなどには特殊なニューラルネット。
構造化データと非構造化データ
- 構造化データ
- データベースのデータ
- 非構造化データ
- 画像、音声、テキストなど
教師あり学習ではいずれのデータも扱うことができる。特にニューラルネットワークは非構造化データを高精度で扱うことができる。
なぜニューラルネットワーク が成長しているのか
ニューラルネットワークは大きくすれば（隠れ層の数・１層当たりのノード数を増やす）するほど精度が上がる。ニューラルネットワークの精度を左右する指標は’ネットワークの大きさ’と’データの量’なのだ。
データ量が少ない時であれば、層の大きさによる差はあまりないため、適切にパラメータを工夫したSVMなどの方が精度が良い場合がある。
- インターネットやIOTなどによるデータ量の増加
- GPUなどのハードウェアの性能上昇
- アルゴリズムの改良（代表例：Sigmoid関数=>Relu関数で計算速度が上昇した）
Coursera Deep Learning👉 https://www.coursera.org/specializations/deep-learning