本稿について

本稿はSumio Watanabe ・著「Mathematical Theory of Bayesian Statistics」(Chapman and Hall/CRC, 2018)の読後メモです。

読後メモ(1)
https://qiita.com/hiroto1979/items/4985de1dd7a6c876d685
読後メモ(2)(本稿)
https://qiita.com/hiroto1979/items/618b62194c20b598e560

はじめに

略称など

以下の略称を使います。

「緑本」⇒「Mathematical Theory of Bayesian Statistics」(Chapman and Hall/CRC, 2018)
https://www.amazon.co.jp/dp/1482238063
「赤本」⇒「ベイズ統計の理論と方法」(コロナ社, 2012)
https://www.amazon.co.jp/dp/4339024627/
「学習本」⇒「代数幾何と学習理論」(森北出版, 2006)
https://www.amazon.co.jp/dp/462781321X/

本稿の対象

緑本のChapter1とChapter3の読後メモおよびChapter2のさわりを書きます。

本編

Chapter1 Definition of Bayesian Statistics

Chapter1の赤本との共通の箇所は、以下の通り。

1.1　ベイズ推測の定義
1.2　考察される量
1.4　事後分布の例
2.2.1　基礎概念
6.2.1　評価の規準
6.3　クロスバリデーション
8.1　確率分布と確率変数
8.2　平均と分散
8.3　同時分布と条件付き確率

緑本のみの箇所は、以下の通り。

1.7 Marginal Likelihood or Partition Function
1.8 Conditional Independent Cases

まずは、赤本の8章の一部が前に切り出されているので、イントロダクション的な感じで読みやすくはなっていますね。

赤本では、WAIC(赤本の168ページの$W_{n}$)は「6.2.1　評価の規準」にて、クロスバリデーション量(以降、「損失」および「誤差」をまとめて「量」と表す)は『6.3　クロスバリデーション』にて、汎化量や経験量とは個別に扱われましたが、緑本では、汎化量や経験量と並列で量のひとつとして扱い、定義を天下り的に行っています。
それに伴い、同時予測や周辺尤度の意味合いについての説明も追記されています。

なお、個人的に緑本のおかげで意識するようになった箇所は以下の内容。

(緑本Remark9・21ページ)
モデル選択やハイパーパラメータの選択において、損失の最小性と誤差の最小性は等価になる。
しかしながら、誤差(Error)は損失(Loss)よりも分散が小さくなることから、数値計算を行う場合は、損失(Loss)の代わりに誤差(Error)を用いての比較がしばしば行われる。

Chapter2 Statistical Models

赤本との大きな差はこの章の存在だと思います。
ここでは以下の具体的なモデルを提示して、量の計算をしています。

2.1 Normal Distribution(正規分布モデル)
2.2 Multinomial Distribution(多項分布モデル)
2.3 Linear Regression(線型回帰モデル)
2.4 Neural Network(ニューラルネットワーク)
2.5 Finite Normal Mixture(正規混合分布モデル)
2.6 Nonparametric Mixture(ノンパラメトリック混合分布モデル)

なお、2.5と2.6の違いは、混合する分布数が有限か無限かの差です。

2.5で扱う確率モデルは以下の通り。

  p(x|a,b)
    = \sum_{k=1}^{K} a_{k} N(x|b_{k})

2.6で扱う確率モデルは以下の通り。

  p(x|a,b)
    = \lim_{K\to\infty} \sum_{k=1}^{K} a_{k} N(x|b_{k})

「統計モデルごとに量がどのように動くかを肌で感じる」の方針で書かれており、応用を意識した書き方になっています。
量の計算を追ってみて、「じゃあ理論としてどのようになっているでしょう？」に続く感じです。

Chapter1でも触れた、「数値実験では誤差を用いる」を地で行く書き方になっています。
なお、コードの話とかが必要になるが、主題の比較から外れるため、これは別途の扱いと言うことで。

Chapter3 Basic Formula of Baysian Observables

赤本の以下の内容が該当します。

2.1　真の分布と確率モデルの関係
2.2.2　正規化された変量
2.2.3　キュムラントと母関数
2.3　ベイズ統計理論の構造

赤本の35ページにある真の分布と確率モデルの関係のベン図は緑本にはないです。

しかし、具体例が以下のパターンで提示され、包含のイメージがわかりやすくなるように思われます。

実現可能, 正則 ⇒ 相対的に有限な分散をもつ
実現可能 ⇒ 相対的に有限な分散をもつ
正則 ⇒ 相対的に有限な分散をもつ
非正則かつ実現不可能だが、相対的に有限な分散をもつ
実質的にユニーク ⇒ 相対的に有限な分散をもつ

また、扱う観測量自体はChapter1と同様ではあるが、これらの観測量の取り回しはキュムラント母関数をベースに行うのが基本。
そういう意味では赤本の内容が理解できるなら、そんなに苦労はしないと思われます。

ここまでは言うほどの差がないです。
次はChapter4ではなく、Chapter5を扱う予定です。
ここからが大きな差になります。