PRML輪読 #1,2

学習の忘備録

事前学習として記事末の参考リンクを一通り勉強した．
輪講の内容は以下．（リンク先の記事を執筆してくださった方々に感謝申し上げます．）

1. 全体的な外観を捉えつつ学習したかったので，多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~の内容から始めた．
2. ベイズの気持ちを少し理解した上で，教科書内容をPRML読み会第一章で押さえる．
3. 2章はガウス過程への導入だと思ったのでガウス分布を重点的に．PRML本文は導出メインなのでガウス過程と機械学習3,4章で勉強．
   • 押さえておくべき事項
     • 確率変数
     • 確率密度関数
     • 確率過程
     • ガウス過程
     • 周辺化・周辺分布
     • 条件つき分布
     • 確率変数の独立性・確率変数の条件付き独立性
     • 多変量ガウス分布
       PRML本文の導出は，”2つの変数集合の同時分布がガウス分布に従うなら，一方の変数集合が与えられた時の，もう一方の集合の条件付き分布もガウス分布になる．さらに，どちらの変数集合の周辺分布も同様にガウス分布になる．”というのが言いたい．
4. 最後に，藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定でもう一度復習．

目次

1. 序論
   2. 例：多項式フィッティング
   3. 確率論
   4. 確率密度
   5. 期待値と分散
   6. ベイズ確率
   7. ガウス分布
   8. 曲線フィッティング再訪
   9. ベイズ曲線フィッティング
   1. モデル選択
   2. 次元の呪い
   3. 決定理論
      4. 誤識別率の最小化
      5. 期待損失の最小化
      6. 棄却オプション
      7. 推論と決定
      8. 回帰のための損失関数
   4. 情報理論
      2. 相対エントロピーと相互情報量
2. 確率分布
   2. 二値変数
   3. ベータ分布
   1. 多値変数
      2. ディリクレ分布
   2. ガウス分布
      2. 条件付きガウス分布
      3. 周辺ガウス分布
      4. ガウス変数に対するベイズの定理
      5. ガウス分布の最尤推定
      6. 逐次推定
      7. ガウス分布に対するベイズ推論
      8. スチューデントのt分布
      9. 周期変数
      10. 混合ガウス分布
   3. 指数型分布族
      2. 最尤推定と十分統計量
      3. 共役事前分布
      4. 無情報事前分布
   4. ノンパラメトリック法
      2. カーネル密度推定法
      3. 最近傍法

---

参考リンク

slideshare

• PRML読み会第一章
  • 教科書に沿った内容
• パターン認識と機械学習 (PRML) 第１章－「多項式曲線フィッティング」「確率論」
  • 33ページ目から．タイトルの内容に絞った内容
• PRML読書会1スライド(公開用)
  • 教科書に沿った内容．よりシンプル．
• PRML上巻勉強会 at 東京大学　資料　第1章前半
  • 19~23ページの乗法定理などの図がわかりやすい．
• 多項式あてはめで眺めるベイズ推定~今日からきみもベイジアン~
  • 決定的手法，確率的手法，ベイズ的手法の違いがわかる．

Jupiter notebook

• 最小二乗法、ガウスノイズモデル、ベイズ線形回帰モデルによる多項式あてはめ
• ベルヌーイ試行のMAP推定、ベイズ推定の例：きのこ傘投げ問題
• ポアソン分布に対するベイズ推論(メール受信数を例に実験)

その他

• ベイズ的最適化：スライド
• ベイズ的最適化：動画
• ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1 on Udemy
• 藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定