0. 前書き
信頼区間とベイズ信用区間について考える.
ここで簡単のため真の分布を$q(x)=\mathcal{N}(x\ |\ \mu_0,\sigma)$とし,
サンプルを{$X_i$}$^n$とし,ベイズの予測モデルを$p(x|\mu)$,事前分布を$\phi(\mu)$とする.
また,これは常に考えるべきことであるが,数式そのものより数式の意味をしっかり捉えることはとても大事であると私は考える.
(誤っている箇所があればご指摘お願いいたします.)
1. 信頼区間 1-α の定義
真の分布上の確率において,サンプルによる推定量$(L(X^n),U(X^n))$の範囲に,真のパラメータ$\mu_0$が含まれる確率が$1-\alpha$の区間のことをいう.
つまり,
P_{X^n\sim q^n}(L(X^n)\leq \mu_0\leq U(X^n))＝ 1-\alpha.
の状態である($q$は中心極限定理等で仮定し計算する.一般的に両側の広がりが等しくなるように,$L(X^n)+U(X^n)=2\bar{X}$とする).
2. ベイズ信用区間 1-α の定義
事後分布${\rm pos}(\mu|X)=\frac{\phi(\mu)\prod p(X_i|\mu)}{\int \phi(u)\prod p(X_i|u) du}$上の確率において,サンプル,事前分布,予測モデルに依存する推定量$(L(*),U(*))$の範囲に,サンプル$X$が与えられたとき$\mu$が含まれる確率が$1-\alpha$の区間のことをいう.
つまり,
P_{\mu|X^n \sim {\rm pos}}(L(*)\leq \mu \leq U(*))= 1-\alpha.
の状態である(事後分布はいつでも計算できる,今回の場合も$L(*)+U(*)=2\mathbb{E}_{\rm pos}[\mu]$とするのが一般的である).
3. 何が違うの
3.1. 信頼区間
前者では,${X^n}$を確率変数としてみて区間を考える.というのも,心持ちとして,$\bar{X}$が揺らぐからこそ,現在得られたサンプルが真の分布$q$に対してどの程度,信頼してよいデータであるのか気になることにあるからだ.
結局,真の分布上のあるサンプルを一つ持ってきた際に信頼区間$[L(X^{n}),U(X^{n})]$に1-$\alpha$の確率で真のパラメータ$\mu_0$が入っていることを主張している.
3.2. 信用区間
後者では,$X^n$を定数とし,あるデータが与えられた際の事後分布上のパラメータが存在する確率が高い区間を考える.というのも,心持ちとして,信用できるパラメータの区間を考えパラメータがどういう区間に存在するか気になることにあるからだ.
結局,あるデータが与えられた際に,事後分布上のあるパラメータ$\mu$を一つ持ってきた際に1-$\alpha$の確率で$[L(*),U(*)]$に入っているということを主張している.つまり,求めたいパラメータ$\mu_0$も1-$\alpha$の確率で$[L(*),U(*)]$に入っているということを主張できる.
(ただし,事前分布や予測分布がテキトーであると,事後分布上に求めたいパラメータ$\mu_0$を含んでいなかったり,事後分布上において,${\rm pos}(\mu_0|X^{n})$が限りなく小さい可能性があるため(これは$\mu_0$が未知のため,飽くまで可能性のお話)あらかじめ情報量規準を用いて予測分布や事前分布が適切であるか確認する必要がある)
3.3. まとめ
上記の二点において,結局どちらの心持ちをとっても良いのだが,
- 信頼区間は,真の分布上の確率を考える.
- 信用区間は,事後分布上の確率を考える.
という違いを考慮し物事を考える必要がある(例1).
4. 余談
しばしば,信頼区間は母平均を予測する際に用いられる.というのも,真の分布がわかっていなくても,その平均は中心極限定理から容易に正規分布に近似できるためである.逆に,一般的に母平均を求めてもあまり価値のない分布(混合正規分布や混合ポアソンモデル,その他諸々のモデル)では,この区間の意義をあまり感じることはできなかった.そのため,信頼区間は母平均のような,サンプルによる分布が正規分布であるとわかっている状況に限り使えると感じ,そのことに気をつける必要があると感じた.また,解釈として,真の分布から複数のサンプルサイズ$n$の複数のサンプル数を持ってきての確率の話をしているため,少し入り組んでいると考えられる.
一方で,信用区間は予測分布と事前分布の評価が適切であるかをWAICやWBICなどを用いて考慮した上で考えると,あらゆる状況(信頼区間で考えられない状況も考えられる状況も含む)で信用できるパラメータ区間を算出できると考えられるため広く使える可能性があると感じた(ここで情報量規準を用いず,意味のわからない事前分布や予測分布を持ってきてしまうと,その結果も意味のないものになってしまうため,情報量規準を用いてモデルや事前分布がどの程度適切であるか,確かめる必要がある).また,解釈としても,信用区間の方がパラメータの確率分布を考えているため,解釈しやすいと考えられる.