はじめに
パラメータの$100(1 - \alpha) \% $信頼区間は、パラメータに関する有意水準$\alpha$の統計的仮説検定から構成することができる。その方法を備忘録的にここに残す。
問題設定
今回は観測データ$X$に基づいて、$X$の分布に関係する実数パラメータ$\beta$の$100(1 - \alpha) \%$信頼区間を求めたいとする。パラメータ$\beta$には未知ではあるが真の値$\beta_0$が存在するとする。
結論
帰無仮説 $H_0 : \beta=b$が観測データ$X$に基づいて有意水準$\alpha$で棄却されない$b$の範囲が$\beta$の$100(1 - \alpha) \%$信頼区間である。
信頼区間
パラメータ$\beta$の$100(1 - \alpha) \%$信頼区間は観測データ$X$に従って構成される区間である。$100(1 - \alpha) \%$信頼区間はデータ$X$に依存して決まるため、$I(X|\alpha)$と表す。$I$はデータに対して区間を対応させる写像である。
$100(1 - \alpha) \%$信頼区間と言う時, $\beta_0 \in I(X)$となる確率が$1 - \alpha$となるような区間の構成方法によってデータ$X$から構成された区間であることを意味する。データから区間を構成する方法が写像$I$である。
つまり、$I$が$100(1 - \alpha) \%$信頼区間の構成方法となるために持っているべき性質は、
P(\beta_0 \in I(X | \alpha) | \beta=\beta_0) = 1 - \alpha
である。
なお、$\beta_0$はパラメータ$\beta$の未知の真の値であり、非確率的な定数である。観測データ$X$から構成される区間$I(X | \alpha)$が確率変数である。データ$X$を同じパラメータ$\beta=\beta_0$の分布から何回も観測して, そのそれぞれで$\beta$の信頼区間$I(X | \alpha)$を構成していった際に, 真の値$\beta_0$を含むことができている信頼区間が$1 - \alpha$程度の割合である。逆に割合として$\alpha$程度は真の値$\beta_0$を含むことができていない信頼区間がデータから構成される。
統計的仮説検定
任意の実数$b$について、観測データ$X$からパラメータ$\beta$に関しての帰無仮説$H_0 : \beta=b$の有意水準$\alpha$の統計的仮説検定が可能であるとする。この検定の結果はデータ$X$と、帰無仮説を定める$b$、有意水準$\alpha$で決まるので、関数として、
\Phi(X, b, \alpha) =
\begin{cases}
1 & (H_0 \quad \text{rejected}) \\
0 & (H_0 \quad \text{accepted})
\end{cases}
と表せる。有意水準の性質から、帰無仮説$H_0$が真の場合に帰無仮説を棄却されるデータ$X$が観測される確率は有意水準$\alpha$と等しく、
\begin{align}
P(\Phi(X, b, \alpha) = 1 | \beta=b) &= \alpha \\
P(\Phi(X, b, \alpha) = 0 | \beta=b) &= 1 - \alpha\\
\end{align}
である。
検定が帰無仮説を棄却しない範囲 = 信頼区間
観測データ$X$に対して、検定$\Phi$で$H_0 : \beta=b$が有意水準$\alpha$で棄却されない$b$の集合を、
D_{\Phi}(X | \alpha) = \{ b | \Phi(X, b, \alpha) = 0 \}
とする。このとき、
\beta_0 \in D_{\Phi}(X | \alpha) \iff \Phi(X, \beta_0, \alpha) = 0
であり、$\beta$の真の値が$\beta_0$である場合に統計的仮説検定で$H_0: \beta=\beta_0$が有意水準$\alpha$で棄却されない確率が$1 - \alpha$である性質により、
P(\Phi(X, \beta_0, \alpha) = 0 | \beta=\beta_0) = 1 - \alpha
であるため、
P(\beta_0 \in D_{\Phi}(X | \alpha) | \beta=\beta_0) = 1 - \alpha
が得られる。
つまり、観測データ$X$に対して、検定$\Phi$で帰無仮説$H_0 : \beta=b$が有意水準$\alpha$で棄却されない$b$の範囲$D_{\Phi}(X | \alpha)$は$\beta$の$100(1 - \alpha) \%$信頼区間の構成方法となる。
適用例
分散未知の正規分布に従う観測データの母平均の95％信頼区間
$x_1, ...,x_n$が平均、分散共に未知の正規分布$N(\mu, \sigma^2)$に従うとする。この時、母平均$\mu$について, 帰無仮説$H_0:\mu =b$の有意水準$0.05$の検定を行う。帰無仮説$H_0:\mu =b$が真の時、$x_1,...,x_n$の標本平均を$\bar{x} =\frac{1}{n} \sum_{i=1}^{n} x_i$、不偏分散を$U^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2$とすると、
\frac{\bar{x} - b} {\sqrt{\frac{1}{n} U^2}}
は$(\mu, \sigma^2)$の真の値に依存せず、自由度$n-1$の$t$分布に従う。$t$分布を用いて, 帰無仮説$H_0:\mu =b$の検定を行う場合、帰無仮説が棄却されないのは、
\frac{\left|\bar{x} - b\right|} {\sqrt{\frac{1}{n} U^2}} < t_{0.975}^{(n-1)}
の場合である。ただし、$t_{0.975}^{(n-1)}$は自由度$n-1$の$t$分布の$97.5\%$点。
観測された$x_1, ...,x_n$に対して、帰無仮説$H_0:\mu =b$が棄却されない$b$の範囲は、
b \in \left(\bar{x} - t_{0.975}^{(n-1)} \sqrt{\frac{1}{n} U^2}, \bar{x} + t_{0.975}^{(n-1)} \sqrt{\frac{1}{n} U^2}\right)
となる。これが観測データ$x_1, ...,x_n$から構成される母平均$\mu$の95％信頼区間である。
重回帰モデルの1つの偏回帰係数の95％信頼区間
独立変数が$p$個の重回帰モデルを
\boldsymbol{y} = \boldsymbol{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}, \quad \boldsymbol{\varepsilon} \sim N(\boldsymbol{0}, \sigma^2 \boldsymbol{I_n})
とする。ただし、$\boldsymbol{y} \in \mathbb{R}^n, \boldsymbol{X} \in \mathbb{R}^{n \times p}, \boldsymbol{\beta} \in \mathbb{R}^p$。
$\boldsymbol{\beta} = [\beta^{(1)}, ..., \beta^{(p)}]^T$の真の値を$\boldsymbol{\beta}_0 = [\beta_0^{(1)}, ..., \beta_0^{(p)}]^T$とする。ただし、上付の$T$は行列の転置を表すとする。
今回は$\beta^{(1)}$の95％信頼区間を$(\boldsymbol{y},\boldsymbol{X})$から求めたいとする。
帰無仮説$\beta^{(1)} = b$の有意水準$\alpha$の検定が棄却されない$b$の範囲を求めればよい。重回帰モデルの偏回帰係数の制約に関する検定なので、$F$検定を使う。
帰無仮説$\beta^{(1)} = b$は$\boldsymbol{h} = [1, 0,...0]^T \in \mathbb{R}^p$とすれば、$\boldsymbol{h}^T \boldsymbol{\beta} = b$と書ける。簡単のため$X^T X$は正則とする。正則でない場合、特殊なケースでない限り$\beta^{(1)}$は有界な信頼区間を持たない。制約のない重回帰モデルの最小二乗解を$\hat{\boldsymbol{\beta}}=(\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{X}^T \boldsymbol{y}$とする。制約のない重回帰モデルの最小二乗解の残差平方和を$\mathrm{RSS}_0$、制約$\boldsymbol{h}^T \boldsymbol{\beta} = b$の下での重回帰モデルの最小二乗解の残差平方和を$\mathrm{RSS}_1$とすれば、帰無仮説$H_0:\boldsymbol{h}^T \boldsymbol{\beta} = b$の$F$検定の検定統計量は、
\begin{align}
F &= \frac{(\mathrm{RSS}_0 - \mathrm{RSS}_1) / 1}{\mathrm{RSS}_0 / (n - p)} \\
&= \frac{(\boldsymbol{h}^T \hat{\boldsymbol{\beta}} - b)^T (\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h})^{-1} (\boldsymbol{h}^T \hat{\boldsymbol{\beta}} - b)}{(\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{\beta}})^T (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{\beta}}) / (n - p)} \\
&= \frac{(\hat{\beta}_1 - b)^2}{(\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h}) \hat{\sigma}^2}
\end{align}
となる。ただし、$\hat{\boldsymbol{\beta}} = [\hat{\beta}_1, ..., \hat{\beta}_p]^T$として$\hat{\beta}_1$を定義し、
\hat{\sigma}^2 = \frac{(\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{\beta}})^T (\boldsymbol{y} - \boldsymbol{X} \hat{\boldsymbol{\beta}})}{n - p}
とした。$\hat{\sigma}^2$は$\sigma^2$の不偏推定量である。
この$F$が自由度$(1, n-p)$の$F$分布に従うことを利用して、帰無仮説$H_0:\boldsymbol{h}^T \boldsymbol{\beta} = b$を検定できる。帰無仮説が棄却されないのは、
\frac{(\hat{\beta}_1 - b)^2}{(\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h}) \hat{\sigma}^2} < F^{(1, n-p)}_{0.95}
の場合である。データ$(\boldsymbol{y},\boldsymbol{X})$が観測された場合に、帰無仮説が棄却されない$b$の範囲は、
b \in \left(\hat{\beta}_1 - \sqrt{F^{(1, n-p)}_{0.95} (\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h}) \hat{\sigma}^2},\hat{\beta}_1 + \sqrt{F^{(1, n-p)}_{0.95} (\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h}) \hat{\sigma}^2}\right)
となり、これがデータ$(\boldsymbol{y},\boldsymbol{X})$から構成される$\beta^{(1)}$の95％信頼区間である。
なお、自由度$n-p$の$t$分布に従う確率変数$t$について、$t^2$は自由度$(1, n-p)$の$F$分布に従うので、
\sqrt{F^{(1, n-p)}_{0.95}} = t^{(n-p)}_{0.975}
である。また、$\boldsymbol{h}^T (\boldsymbol{X}^T \boldsymbol{X})^{-1} \boldsymbol{h}$は$p \times p$行列$(\boldsymbol{X}^T \boldsymbol{X})^{-1}$の第$(1,1)$要素である。これを$\left[(\boldsymbol{X}^T \boldsymbol{X})^{-1}\right]_{1,1}$と書けば、データ$(\boldsymbol{y},\boldsymbol{X})$から構成される$\beta^{(1)}$の95％信頼区間は
\left( \hat{\beta}_1 - t^{(n-p)}_{0.975} \sqrt{\left[(\boldsymbol{X}^T \boldsymbol{X})^{-1}\right]_{1,1} \hat{\sigma}^2}, \hat{\beta}_1 + t^{(n-p)}_{0.975} \sqrt{\left[(\boldsymbol{X}^T \boldsymbol{X})^{-1}\right]_{1,1} \hat{\sigma}^2}\right)
となる。