[Statistics] 数理統計_ベイズ法

基本単語

• ベイズ法: 事前分布と観測データを組み合わせて，パラメータの分布を更新する方法
• 事前分布: 観測前に持っているパラメータ$\theta$に関する確率分布
• 事後分布: 観測データを踏まえて更新されたパラメータ$\theta$の確率分布
• 周辺尤度（証拠）: データそのものの確率（正規化定数として働く）

p(x)=\int p(x \mid \theta)p(\theta)\,d\theta

• 共役事前分布: 尤度と組み合わせたとき，事後分布が同じ分布族になる事前分布
• ベイズ推定量: 事後分布に基づいてパラメータを1つの値に要約した推定量（例：事後平均）
• MAP推定量: 事後分布を最大にするパラメータ
• MCMC: 複雑な事後分布からサンプルを生成して近似する計算手法

ベイズ法（Bayesian Inference）

事前の知識とデータを統合して，確率分布としてパラメータを推定する方法

概念	入力	出力	意味
ベイズ法	事前分布$p(\theta)$ + データ$x$	事後分布$p(\theta \mid x)$	データにより信念を更新する枠組み

数式表現

p(\theta \mid x)
=
\frac{p(x \mid \theta)\,p(\theta)}{p(x)}

または

p(\theta \mid x)
\propto
p(x \mid \theta)\,p(\theta)

意味（直感的理解）

・$p(\theta)$：事前分布（観測前の信念）
・$p(x \mid \theta)$：尤度（その$\theta$のもとでデータが出る確率）
・$p(\theta \mid x)$：事後分布（観測後の信念）
・$p(x)$：正規化定数

👉 本質：

\text{事後} \propto \text{尤度} \times \text{事前}

👉 データを固定し，$\theta$の分布を更新する

代表的な共役モデル

ベータ・二項モデル

・モデル

X \sim Bin(n,p)

p \sim Beta(\alpha,\beta)

・尤度

L(p)=p^{x}(1-p)^{n-x}

・事後分布

p \mid x \sim Beta(\alpha+x,\; \beta+n-x)

👉 成功回数・失敗回数を足し込む構造

・事後平均

E[p \mid x]=\frac{\alpha+x}{\alpha+\beta+n}

👉 頻度 + 事前情報の加重平均

---

ガンマ・ポアソンモデル

・モデル

X_i \sim Poisson(\lambda)

\lambda \sim Gamma(\alpha,\beta)

（ここで$\beta$はレートパラメータ）

・尤度

L(\lambda)
=
\prod_{i=1}^n
\frac{e^{-\lambda}\lambda^{x_i}}{x_i!}
\propto
\lambda^{\sum x_i} e^{-n\lambda}

・事後分布

\lambda \mid x
\sim
Gamma(\alpha+\sum x_i,\; \beta+n)

👉 カウントデータの標準モデル

・事後平均

E[\lambda \mid x]
=
\frac{\alpha+\sum x_i}{\beta+n}

---

正規・正規モデル（平均未知）

・モデル

X_i \sim N(\mu,\sigma^2)

\mu \sim N(\mu_0,\tau^2)

（$\sigma^2$は既知）

・尤度

L(\mu)
\propto
\exp\left(
-\frac{1}{2\sigma^2}\sum (x_i-\mu)^2
\right)

・事後分布

\mu \mid x
\sim
N\left(
\frac{
\frac{n}{\sigma^2}\bar{x} + \frac{1}{\tau^2}\mu_0
}{
\frac{n}{\sigma^2} + \frac{1}{\tau^2}
},
\;
\frac{1}{
\frac{n}{\sigma^2} + \frac{1}{\tau^2}
}
\right)

👉 データ平均と事前平均の加重平均

---

ポイント

・ベイズ法ではパラメータも確率変数
・計算は

事後 ∝ 尤度 × 事前

・準1級では以下が頻出
・ベータ・二項
・ガンマ・ポアソン
・正規・正規

・共役分布の利点
👉 事後分布が即座に分かる

・MAP推定

\hat{\theta}_{MAP}
=
\arg\max_{\theta}
\left[
\log L(\theta) + \log p(\theta)
\right]

👉 MLE + 正則化

・事後予測

p(x_{new} \mid x)
=
\int p(x_{new} \mid \theta)p(\theta \mid x)d\theta

👉 不確実性込みの予測

・注意点
・分母$p(x)$は通常無視
・MLEとの混同
・パラメータを固定値と誤解

他概念との関係

概念	関係
最尤法	データのみで推定
ベイズ法	事前 + データ
MAP	ベイズの点推定
MCMC	数値近似手法

\text{MAP} = \text{MLE} + \text{正則化}

まとめ

概念	入力	出力	役割
事前分布	事前知識	分布	初期信念
尤度	データ	関数	データの情報
事後分布	事前×尤度	分布	更新された信念
ベイズ推定量	事後分布	数値	点推定
共役分布	分布の組	分布	計算簡略化