PRML 4章 線形識別モデルの気持ち
この記事の目的
これからPRMLの第4章（4.1〜4.3）を読み始める人が、それぞれの項目がどのような関係になっているか、どんなことに注意して読めば良いかなどをガイドしたいというモチベーションの元に書かれています。
4章（4.1〜4.3）の全体像
4章ではクラス分類問題について解説されています。
クラス分類をする上でどんな方法があるのかという観点から、PRMLではざっくり分けて以下の2つで説明しています。
- 写像関数によってバシッと分類
- 確率的な観点を元に分類
- データの生成モデルを計算してからベイズ的に分類
- クラスに分類される確率をそのまま計算して分類
それぞれの方法と各項目の対応については以下のようになっています。
- 関数的にバシッと分類→
4.1 識別関数（判別関数) - データの生成モデルを計算してからベイズ的に分類→
4.2 確率的生成モデル - クラスに分類される確率をそのまま計算して分類→
4.3 確率的識別モデル
それぞれについて、以下でざっくり説明していきます。
4章で取り上げられる項目とその気持ち
4.1 識別関数（判別関数)
上述のように、ここでは写像関数によって入力データをバシッと分類する方法が紹介されています。
4.1.1〜4.1.2
単純な線形識別関数の例で2クラス分類と多クラス分類の方法が解説されています。
2クラス分類については、入力ベクトルと重みベクトルの内積の正負で分類しようねという話です（ざっくり）。
多クラス分類については、クラスの数だけ識別関数作って組み合わせるとか色々な方法があるよということ言っています（こちらもざっくり）。
4.1.3〜4.1.7
4.1.3〜4.1.7では、上記の線形識別関数で用いる重みベクトル（パラメタ）の学習方法について以下の3つが紹介されています。
- 最少二乗和誤差最小化
- フィシャーの線形判別（参考：http://s0sem0y.hatenablog.com/entry/2016/08/07/054847 ）
- パーセプトロンアルゴリズム
それぞれの項目は独立して読むことができるので、気になるものからピックアップして勉強するのが良いと思います（多分全部重要）。
それぞれの方法について簡単な概要だけ述べておきます。
最小二乗和誤差最小化については、正解データと計算結果の二乗和誤差が最少になるようにという最小二乗法的な計算で、パラメータを最適化します。
フィッシャーの線形判別については、識別関数の計算の際、得られる値を別のクラス同士できるだけ離れた値にするような制約（平均間の分離どクラス内分散を抑える）を行うことによって、より良い分類を目指します。
パーセプトロンアルゴリズムについては、生物の神経を参考に作られた2クラス分類のモデルです。ニューラルネットワークから、流行りのディープラーニングの基礎となるモデルです。
4.2 確率的生成モデル
確率的な観点を導入してクラス分類をしようという方法その1です。
ここでは分類のステップを以下のように分けて、考えようということが書かれています。
1. データがどんな風に生成されているか（生成モデル）を考える
2. 生成モデルを前提として、入力データがとあるクラスから生成された確率を求める
3. 求めた確率をベースに入力データがとあるクラスに分類されるかどうかを決定する境界を決める
PRMLでは1〜2までを推論、3を決定と言っています（ざっくり説明なので細かいニュアンスは違うかも）。
4.2.1〜4.2.2
実数値の特徴量に対して、ガウス分布からデータ生成されると仮定した場合のクラス分類がどう行われるかが説明されています。
4.2.3〜4.2.4
入力値が離散の場合と多クラス問題への拡張について書かれています。
4.3 確率的識別モデル
確率的な観点を導入してクラス分類をしようという方法その2です。
その1ではクラス分類のために色々やっていましたが、確率的識別モデルでは1〜3のステップ2（入力データがとあるクラスから生成された確率）を直接モデル化してしまおうという方法です。
本書では以下のモデル（方法）が紹介されています。
- ロジスティック回帰
- プロビット回帰
4.3.1 固定基底関数
入力データを事前に非線形変換して別の空間に写像しておけば、4.1で見てきたアルゴリズムを良い感じに適用できるよねという話がきちんと書いてある。
そもそもこれって確率的識別なのかなという疑問があるため、この場所にこの解説があると混乱する（記事書いた人の感想）。
4.3.2〜4.3.4
ロジスティック回帰と呼ばれる確率的識別モデルの解説。
パラメタの学習方法として、反復重み付けけ二乗法（IRLS）を理解できると良いと思います。
4.3.5 プロビット回帰
プロビット関数を用いたプロビット回帰というモデルの解説。
4.3.6 正準連結関数
一般化線形モデルの観点から、4.3の話をまとめる。
注意書き
この記事には、間違いが含まれる可能性があります。
また、記事中におかしなものがありましたらぜひご指摘お願いします。
これから線形識別モデルを勉強する人のガイドになれば嬉しいです。