Help us understand the problem. What is going on with this article?

PRML 5章 ニューラルネットワーク(5.1,5.2)の項目整理

More than 1 year has passed since last update.

この記事の目的

これからPRMLの第5章(5.1-5.2)を読み始める人に対する項目整理です。

5章(5.1〜5.2)の全体像

5章はニューラルネットワークです。ついにきました。

  • 5.1...フィードフォワードネットワーク
  • 5.2...ネットワーク訓練について

5章で取り上げられる項目

5.1 フィードフォワードネットワーク

フィードフォワードネットワーク、つまり閉じた有向経路が存在せず、必ず入力方向から出力方向にデータが流れることを保証するニューラルネットワークについてのセクションとなります。

解説されている項目は以下の通り

  • 隠れユニットの定義(基底関数)
  • 多層パーセプトロン
  • 重み空間対称性

5.2 ネットワーク訓練

誤差逆伝播(5.3)のための準備のセクションです。誤差を定義したり、その誤差をどう最適化するかなどについて。

  • 誤差関数を定義(回帰問題の場合とクラス分類問題の場合)
    • 二乗和誤差関数...回帰問題における誤差関数
    • 交差エントロピー関数...クラス分類問題における誤差関数
  • 誤差関数のパラメータ最適化
    • 局所二次近似
    • 勾配情報を利用することによる最適化...勾配情報を使うと計算量を大きく削減できる
    • 勾配降下法

解くべき演習問題

解くべき演習問題を四つ選ぶとしたらこんな感じ?

  • 演習5.2...尤度関数最大化と誤差関数最適化が等価であること
  • 演習5.6...誤差関数の微分
  • 演習5.12...局所的極小点である事の必要十分条件がヘッセ行列Hが正定値であること
  • 演習5.13...勾配情報利用による計算量削減について
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした