概要
「ゼロから作るDeepLearning」を読んだので、自分なりに参考になった点などを備忘録としてまとめました。
なにかご指摘などあれりましたら、メッセージをいただけると幸いです。
2章 パーセプトロン
・パーセプトロンとは
・複数の信号を入力として受け取り、ひとつの信号を出力する
・パーセプトロンの信号は 流すか流さないかの二値の値
・パーセプトロンでは，「重み」と「バイアス」をパラメータとして設定する
・パーセプトロンを用いて，ANDやORゲートなどの論理回路を表現できる
・多層のパーセプトロンは、理論上コンピュータを表現できる
3章 ニューラルネットワーク
・ニューラルネットワークとは
パーセプトロンの考え方を応用したもので、入力層からのデータが中間層を通り、最後に出力層で求める出力を表現する
・活性化関数とは
入力信号の総和を出力信号に変換する関数のこと
・ニューラルネットワークで使用される活性化関数
ステップ関数
シグモイド関数
4章 ニューラルネットワークの学習
・ニューラルネットワークは，データから学習できる
・損失関数
・最適なパラメータに近づくための指標となる
・よく使用される関数「２乗和誤差」、「交差エントロピー誤差」
・２乗和誤差
出力と正解データの差の２乗の総和を求める。この総和が小さければ小さいほど、出力と正解データの誤差が少ないことになる
・交差エントロピー誤差
出力の自然対数と正解データとの積を計算する。
・重みパラメータを更新する際には，重みパラメータの勾配を利用して，勾配方向に重みの値を更新する作業を繰り返す
・微小な値を与えたときの差分によって微分を求めることを数値微分という
・数値微分によって，重みパラメータの勾配を求めることができる
・数値微分による計算には時間がかかるが、その実装は簡単である。一方、自称で実装するやや複雑な誤差逆伝播法は、高速に勾配を求めることができる。
5章 誤差逆伝播法
・誤差逆伝播法とは
数値微分による勾配の計算は、実装が平易だが、計算に時間がかかるという難点があるため、微分計算を効率的に行う誤差逆伝播法を使用する
・計算グラフを用いることで、計算過程を視覚的に把握することができる
・計算グラフのノードは局所的な計算によって構成される。局所的な計算が全体の計算を構成する
・計算グラフの順伝播は、通常の計算を行う。一方、計算グラフの逆伝播によって、各ノードの微分を求めることができる
・ニューラルネットワークの構成要素をレイヤとして実装することで、勾配の計算を効率的に求めることができる
・数値微分と誤差逆伝播法の結果を比較することで、誤差逆伝播法の実装に誤りがないことを確認できる
6章 学習に関するテクニック
7章 畳み込みニューラルネットワーク
・畳み込み層とは
画像は3次元の形状であり、空間的情報を含む。その形状を維持しつつ、次の層にデータを出力する
・プーリング層とは
タテ／ヨコ方向の空間を小さくする
・ディープラーニングの発展に、ビッグデータとGPUが大きく貢献している
8章 ディープラーニング
・層を深くすることで、ネットワークのパラメータを少なくできる
・ディープラーニングの実用例
・物体検出
・セグメンテーション
・画像キャプション生成
・多くの問題では、ネットワークを深くすることで、性能の向上が期待できる
・ディープラーニングを用いたアプリケーションとして、画像のキャプション生成、画像の生成、強化学習などもある