#はじめに
- 現代数理統計学の基礎 (共立講座 数学の魅力)
- 2018/5/6、amazonで購入。
- 第７章「統計的仮説検定」に関するメモ
- 第８章「統計的区間推定」に関するメモ
#検定方式
帰無仮説$H_0:\theta\in\Theta_0$
対立仮説$H_1:\theta\notin\Theta_0$
検定方式は$H_0$の棄却域$R$により定義される。
$X\in R$なら$H_0$を棄却して$H_1$を採択する。
第一種の誤り 帰無仮説が正しいとき、帰無仮説を棄却する誤り。確率$\alpha$
第二種の誤り 帰無仮説が正しくないとき、帰無仮説を棄却しない誤り。確率$\beta$
検出力 帰無仮説が正しくないとき、帰無仮説を棄却する確率$(1-\beta)$。
尤度比に基づいた検定方式
第一種の誤りの確率(有意水準)が$\alpha$となるように$C$を決定する。
\begin{align}
\lambda(X)&=\frac{\sup_{\theta\in\Theta_0}L(\theta|X)}{\sup_{\theta\in\Theta}L(\theta|X)}
=\frac{L(\hat{\theta}_0,X)}{L(\hat{\theta},X)}\\
R&=\{x|\lambda(x)\le C\}
\end{align}
帰無仮説$H_0:\theta=\theta_0$
対立仮説$H_1:\theta\neq\theta_0$
狭義には漸近分布が$\chi^2_1$となることを使って$C$を決定する。
\begin{align}
&-2\log\lambda(X)\to_d\chi^2_1(n\to\infty)\\
&R=\{x|-2\log\lambda(x)\gt\chi^2_1(\alpha)\}
\end{align}
最尤推定量の漸近正規性に基づいた検定方式(Wald検定)
フィッシャー情報量には最尤推定量を代入
\begin{align}
&\sqrt{nI(\hat{\theta}_n)}\left|\hat{\theta}_n-\theta_0\right|\to_d N(0,1)\\
R&=\{x|\sqrt{nI(\hat{\theta}_n)}\left|\hat{\theta}_n-\theta_0\right|
\ge z(\alpha/2)\}
\end{align}
スコア関数の中心極限定理に基づいた検定方式(スコア検定)
フィッシャー情報量には真値を代入
\begin{align}
S_n(\theta,X)&=\frac{d}{d\theta}\log f_n(X|\theta)\quad\text{スコア関数}\\
E[S_n(\theta,X)]&=0,Var(S_n(\theta,X))=nI(\theta)\\
\frac{S_n(\theta,X)}{\sqrt{nI(\theta)}}&\to_d N(0,1)\\
R&=\{x|\left|\frac{S_n(\theta_0,X)}{\sqrt{nI(\theta_0)}}\right|
\ge z(\alpha/2)\}
\end{align}
カイ二乗適合度検定
\begin{align}
\sum_{i=1}^K\frac{(X_i-n\pi_i)^2}{n\pi_i}\to_d\chi^2_{K-1}\quad(n\to\infty)
\end{align}
#検定方式の評価
帰無仮説$H_0:\theta\in\Theta_0$
対立仮説$H_1:\theta\notin\Theta_0$
$\phi_R(X)=1(X\in R),0(X\notin R)$ 検定関数
$\beta(\theta)=P_\theta(X\in R)$ 検出力関数
$\beta(\theta)=E[\phi_R(X)]=\int\phi_R(x)p(x|\theta)dx=\int_Rp(x|\theta)dx$
$\theta\in\Theta_0$に対して、$\beta(\theta)$は第一種の誤りの確率
$\theta\notin\Theta_0$に対して、$1-\beta(\theta)$は第二種の誤りの確率
$P_{H_0}(X\in R)=\sup_{\theta\in\Theta_0}\beta(\theta)$ 第一種の誤りの確率
$P_{H_1}(X\notin R)=\sup_{\theta\notin\Theta_0}1-\beta(\theta)$ 第二種の誤りの確率
ネイマン・ピアソンの補題
単純仮説の場合、尤度比検定は最強力である。
第一種の誤りが同じ検定の中で、第二種の誤りが最も小さい(検出力が最も大きい)。
不偏検定
$\forall \theta_1\in \Theta_0^c,\forall \theta_0\in \Theta_0\rightarrow \beta(\theta_1)\ge\beta(\theta_0)\rightarrow\int \phi_R(x)p(x|\theta_1)dx\ge\int \phi_R(x)p(x|\theta_0)dx$
P値
棄却域が$R=[X|W(X)>c]$と定義されている場合、実測値$x$よりも極端な値が発生する確率。
$p(x)=P_\theta(W(X)\ge W(x))$
#尤度比検定の棄却域
\begin{align}
X_1&,\dots,X_n,iid\sim f(X|\theta)\\
\theta&=\binom{\theta_1}{\theta_2},\dim(\theta_1)=k-r,\dim(\theta_2)=r\\
H_0:\theta_1&=\theta_0,H_1:\theta_1\neq\theta_0\\
l(\theta_1,\theta_2)&=\sum\log f(X_i|\theta)\quad\text{対数尤度}\\
I(\theta)=I(\theta_1,\theta_2)&=\left(
\begin{array}{cc}
I_{11}(\theta) & I_{12}(\theta) \\
I_{21}(\theta) & I_{22}(\theta)
\end{array}
\right)\quad\text{フィッシャー情報量}\\
I_{ij}(\theta)&=E\left[-\frac{\partial^2}{\partial\theta_i\partial\theta_j}\log f(X|\theta)\right]\\
H_0:\hat{\theta}&=\binom{\theta_0}{\hat{\theta}_{20}},
H_1:\hat{\theta}=\binom{\hat{\theta}_1}{\hat{\theta}_2}\quad\text{最尤推定量}\\
2l(\hat{\theta}_1,\hat{\theta}_2)&-2l(\theta_0,\hat{\theta}_{20})>\chi^2_{k-r}(\alpha)
\quad\text{尤度比検定の棄却域}
\end{align}
#区間推定
検定方式の反転
確率分布に従うのはあくまでも$X$だけであり、$\theta$は固定値であることに注意。
\begin{align}
\Pr_\theta(X\in A(\theta))&=1-\alpha\quad\text{受容域}\\
C(X)&=\{\theta\in\Theta|X\in A(\theta)\}\\
\Pr_\theta(\theta\in C(X))&=\Pr_\theta(X\in A(\theta))=1-\alpha
\end{align}
枢軸量
$Q(X,\theta)$の分布が$\theta$に依存しない場合、$\Pr_\theta(a<Q(X,\theta)<b)=1-\alpha$となる$a,b$を見つけて、$\theta$の範囲に変換する。$\theta$は固定値であることに注意。
ベイズ信用区間
$\theta$にも分布を仮定する。
\begin{align}
X_1,\dots,X_n&,iid\sim f(x|\theta),\theta\sim\pi(\theta)\quad\text{事前分布}\\
f_n(x|\theta)&=\prod f(x_i|\theta)\quad\text{同時確率分布}\\
f_\pi(x)&=\int f_n(x|\theta)\pi(\theta)d\theta\quad\text{周辺確率分布}\\
\pi(\theta|x)&=\frac{f_n(x|\theta)\pi(\theta)}{f_\pi(x)}\quad\text{事後分布}\\
\Pr(\theta\in A(x)|X=x)&=\int_{A(x)}\pi(\theta|x)d\theta=1-\alpha
\end{align}