この記事の目的
これからPRMLの第5章（5.1-5.2）を読み始める人に対する項目整理です。
5章（5.1〜5.2）の全体像
5章はニューラルネットワークです。ついにきました。
- 5.1...フィードフォワードネットワーク
- 5.2...ネットワーク訓練について
5章で取り上げられる項目
5.1 フィードフォワードネットワーク
フィードフォワードネットワーク、つまり閉じた有向経路が存在せず、必ず入力方向から出力方向にデータが流れることを保証するニューラルネットワークについてのセクションとなります。
解説されている項目は以下の通り
- 隠れユニットの定義(基底関数)
- 多層パーセプトロン
- 重み空間対称性
5.2 ネットワーク訓練
誤差逆伝播(5.3)のための準備のセクションです。誤差を定義したり、その誤差をどう最適化するかなどについて。
- 誤差関数を定義(回帰問題の場合とクラス分類問題の場合)
- 二乗和誤差関数...回帰問題における誤差関数
- 交差エントロピー関数...クラス分類問題における誤差関数
- 誤差関数のパラメータ最適化
- 局所二次近似
- 勾配情報を利用することによる最適化...勾配情報を使うと計算量を大きく削減できる
- 勾配降下法
解くべき演習問題
解くべき演習問題を四つ選ぶとしたらこんな感じ？
- 演習5.2...尤度関数最大化と誤差関数最適化が等価であること
- 演習5.6...誤差関数の微分
- 演習5.12...局所的極小点である事の必要十分条件がヘッセ行列Hが正定値であること
- 演習5.13...勾配情報利用による計算量削減について