カーネル法関連の本6冊(+2冊)読んだので書評書く。

また書評系やります
勉強する時数冊を平行読みする習性があるので、読んだ内容を忘れないためにも残しておく

各本の立ち位置について

またまた独断と偏見で位置づけしてます。
「難解な内容・本のボリューム」を横軸、「カーネル法の解説に力を入れている本」を縦軸にした。

#カーネル法とは（4行で）

複雑なモデルにしたら過剰適合するしパラメータも多くて困るなぁ...

せや！ データ側を高次元の特徴量にしてシンプルな線形モデル適応したらええんや！

でもデータ変形のために特徴量合成とかするとメモリや計算コストで計算機が止まってまう...

せや！ 特徴量合成した時と同じ結果になるような方法(半正定値性を持つ核関数)を考えたろ！

#はじめに

サポートベクトルマシンの理論理解からカーネル法に踏み込んで、気づけばだいぶ深くまで入っていました。
正直まだ再生核ヒルベルトとか、KKT条件とか、νSVRの双対問題導出とか、理解していると胸を張れない...

カーネル法の解説もいずれ書くつもり。(殴り書き資料ならspeaker deckのほうにあります)

#各本の説明

##1. パターン認識のためのサポートベクトルマシン

• 最初にこの本から読んだ
• SVMの説明に徹した本
• SVM(SVC,SVRの複数種)の特徴
• 各種類のSVMのラグランジュ法と、KKT条件、双対問題までの導出
• 一部カーネルPCAなどもあり

##2. サポートベクターマシン入門

• 上記本よりもカバーする範囲が少しだけ広い(カーネルの種類)
• でも上記のほうが初心者には優しい気がする

##3. カーネル多変量解析―非線形データ解析の新しい展開

• カーネル法が特徴量合成に相当すること
• 内積で表現できること
• 内積が正定値カーネルで表現できること
• などの説明がわかりやすい
• 細かい証明も付録に乗っている(理解できるとは言ってない)
• カーネル法によってSVM,PCA,k-平均法が拡張できることが載っている
• カーネル設計まで乗っているけど初めてには厳しかった

##4. カーネル法入門―正定値カーネルによるデータ解析

• 上記、カーネル多変量解析のカーネル設計部分はこっちの本が内容が多くてわかりやすく感じた
• 1~3まで読んでいるとだいぶ内容はかぶっている

##5. カーネル法によるパターン解析

• もう辞書
• 厚い
• 曖昧で理解できないところはここで徐々に消化していきたい

##6. ガウス過程と機械学習

• 正直まだ読んでない
• 0章だけ読んでいってと言われて0章以外ほとんど理解できなかった
• 「ガウス過程」にあるようにガウシアンカーネル(RBF)が至る所に出てくる。
• そもそもガウス過程回帰のモデル化の考え方が複数の関数の組み合わせをモデルとして扱ったもので、これをカーネル法で表現している

##7. はじめてのパターン認識
##8. パターン認識と機械学習

この二冊は機械学習の入門・網羅本であり、その一環としてSVMの理解のための最小限のカーネル法説明がある。
正定値カーネルのいくつかの種類紹介をした後にSVM説明へと移る。
この本だけではカーネル法を理解できた気にならなかったので追加で別本を読むことにした。

#以上

カーネル法はまだまだ奥が深いので引き続き学んでいく。