『統計学実践ワークブック』第１０章の勉強メモです．
統計的仮説検定の考え方
統計的仮説検定はデータを用いて仮説を検証する手法．
例えばある母集団の平均がある値とは異なることを示したいとする．
- 「母平均はある値とは異なる」という命題Aを証明したい
- 命題Aを否定し，「母平均はある値と等しい」と仮説する
- 「母平均はある値と等しい」と仮定したもとで，データを取り標本平均を求める
- この標本平均が「母平均はある値と等しい」という仮定の下では，極めて稀にしか得られないほどある値からずれているということを観察する
- 命題Aの否定「母平均はある値と等しい」はおかしいと判断する
- 命題A「母平均はある値とは異なる」は正しいと判断する
検定法の導出
確率変数$X$の母集団分布が正規分布$N(\mu ,\sigma^2)$であり，母分散$\sigma^2$を基地として，母平均$\mu$が$\mu_0$ではないということを検証する統計的仮説検定を考える．
「母平均\muが\mu_0ではない」という検証したい仮説を対立仮説$H_1$，その否定「母平均\muが\mu_0である」という仮説を帰無仮説$H_0$と呼び，以下のように記述する．
\begin{array}
帰無仮説H_0：\mu=\mu_0& vs.& 対立仮説H_1：\mu\neq\mu_0
\end{array}
お互いに独立な確率変数$X_1,X_2,\cdots,X_n$の標本平均$\bar{X}$は正規分布$N(\mu,\sigma^2/n)$に従うことから，統計量$Z=\frac{\bar{X}-\mu}{\sqrt{\sigma^2/n}}$は標準正規分布$N(0,1)$に従う．ここで帰無仮説$H_0$が正しいと仮定すると，統計量$Z_0=\frac{\bar{X}-\mu_0}{\sqrt{\sigma^2/n}}$は標準正規分布$N(0,1)$に従う．この統計量$Z_0$は検定統計量と呼ばれる．
帰無仮説$H_0$が正しい場合には，検定統計量$Z_0$は０にちかい値を取りやすいと考えられる．帰無仮説$H_0$が正しいという仮定のもとで極めてまれだと判断する確率の値を有意水準と呼び，記号$\alpha$で表す．
帰無仮説$H_0$は誤っていると考え，対立仮説$H_1$が正しいと判断することを，帰無仮説$H_0$を棄却する，有意水準$\alpha$で有意であるという．帰無仮説$H_0$が正しいことを，帰無仮説$H_0$を受容する，有意でないという．
帰無仮説$H_0$が棄却される統計検定量$Z_0$の範囲を棄却域といい，棄却域を統計検定量の正負両方向に設定している場合を両側検定，片方向にだけ設定している場合を片側検定という．
P-値
P-値とは，帰無仮説$H_0$の下で，現在観察されたデータと同じか，より稀にしか起こらないデータが観察される確率である．片側検定において，検定統計量$Z_0$の値が$z_0(>0)$出会った場合，統計量$Z$について$Z\geq z_0$となる確率$P(Z\geq z_0)$がP-値である．
例えば，標準正規分布に従う統計量$Z$について，検定統計量$Z_0=2.0$の場合，P-値は$P(Z\geq 2.0)=0.0228$となる．
P-値が有意水準を下回れば，この統計モデルにおいては帰無仮説$H_0$が棄却され，有意と判断できる．
検定の過誤
統計的仮説検定では，極めて稀にしか起こりえないとはいっても怒らないわけではない．
- 帰無仮説$H_0$が真に正しいもとでも，有意と判定されることを，第１種の過誤という（偽陽性）
- 対立仮説$H_1$が真に正しいもとでも，有意と判定されないことを，第２種の過誤という（偽陰性）
第２種の過誤が起こる確率を$\beta$で表し，対立仮説$H_1$が真に正しいもとで，正しく判定する確率$1-\beta$を検出力と呼ぶ・
サンプルサイズ設計
帰無仮説$H_0$のもとで検定統計量$Z_0$の分布を標準正規分布$N(0,1)$とする．対立仮説$H_1$として母平均$\mu$が$\mu_1$とすると，検定統計量の期待値は$E[Z_0]=\frac{\mu_1-\mu_0}{\sqrt{\sigma^2/n}}$となり，検定統計量$Z_0$の分布は正規分分布$N(\frac{\mu_1-\mu_0}{\sqrt{\sigma^2/n}},1)$となる．
帰無仮説$H_0$のもとで標準正規分布$N(0,1)$に従う検定統計量$Z_0$が棄却限界値より高い確率が$P(Z_0\geq棄却限界値)=\alpha$となる．対立仮説$H_1$の下で正規分布$N(\frac{\mu_1-\mu_0}{\sqrt{\sigma^2/n}},1)$に従う検定統計量$Z_0$が棄却限界値より低い確率が$P(Z_0\geq棄却限界値)=\beta$となる．
これより，一定の検出力$1-\beta$を確保するためのサンプルサイズ$n$を求めることができる．
帰無仮説$H_0$において，片側有意水準$\alpha/2$について，検定統計量$z_{\alpha/2}=棄却限界値-0$を考える．対立仮説$H_1$において，第２種の過誤の確率$\beta$について，検定統計量$z_\beta=\frac{\mu_1-\mu_0}{\sqrt{\sigma^2/n}}-棄却限界値$を考える．
これより，以下のようになる．
\begin{multline}
\begin{split}
z_{\alpha/2}+z_\beta&=\frac{\mu_1-\mu_0}{\sqrt{\sigma^2/n}}\\
n&=\frac{(z_{\alpha/2}+z_\beta)^2}{(\frac{\mu_1-\mu_0}{\sigma})^2}\\
&=\frac{(z_{\alpha/2}+z_\beta)^2}{\Delta^2}
\end{split}
\end{multline}
ここで，$\Delta=\frac{\mu_1-\mu_0}{\sigma}$であり，エフェクトサイズという．
サンプルサイズ$n$は，有意水準$\alpha$，第１種の過誤の確率$\beta$，エフェクトサイズ$\Delta$の関数となる．
抜取検査
抜取検査とは，日本産業規格（JIS Z 9015）において，「検査ロットから，あらかじめ定められた抜取検査方式に従って，サンプルを抜き取って試験し，その結果をロットの判定基準と比較して，そのロットの合格・不合格を判定する検査」と定義されている．
手順は，
- 検査ロットを明示し，検査ロットを構成する製品の数$N$を特定する．この$N$をロットの大きさという
- 検査ロットより抽出する標本の大きさ$n$を定める
- 検査ロットの合格・不合格の判定基準を定める
不良率を指標とする計数抜取検査の場合，合格の検査ロットの不良率を$p_0$，不合格の検査ロットの不良率を$p_1$とし，大きさ$n$の標本中に不良個数$k$が
- $k\leq c$のとき，検査ロット合格
- $k\geq c+1$のとき，検査ロット不合格
と判定する．この$c$を合格判定個数と呼ぶ．
不良個数は二項分布に従うため，本来は合格である検査ロットが不合格と判定される確率$FP$は
FP=\sum_{k=c+1}^{n}
\begin{pmatrix}
n \\
k
\end{pmatrix}
p_0^k (1-p_0)^{n-k}
となり，本来不合格である検査ロットが合格と判定される確率$FN$は
FN=\sum_{k=1}^{c}
\begin{pmatrix}
n \\
k
\end{pmatrix}
p_1^k (1-p_1)^{n-k}
となる．確率$FP$は生産者危険，確率$FN$は消費者危険と呼ばれる．
例題
問１０．１
[1]
政党の支持／不支持は二項分布$Bin(n,p)$となるため，平均は$np$，分散は$np(1-p)$となる．
帰無仮説$H_0$：$p_0=0.45$のもとで，標本支持率$\hat{p}$は正規分布に従うとすると，$N(p_0,p_0(1-p_0)/n)=N(0.45,0.45\times 0.55/n)$とできる．この時，有意水準５％の両側検定における右側の棄却限界値$c$は
c=0.45+1.96\times \sqrt{\frac{0.45,0.45\times 0.55}{600}}=0.4898
となる．
対立仮説$H_1$：$p_1=0.50$のとき，標本支持率$\hat{p}$は正規分布$N(0.50,0.50\times 0.50/600)$に従う．検出力はこの分布について確率$P(\hat{p}\geq c)$である．標準化した統計量$Z=\frac{\hat{p}-0.50}{\sqrt{\frac{0.50\times 0.50}{600}}}$について
P(\hat{p}\geq c)=P(Z\geq -0.4997)=1-P(Z >0.4997)
とできる．よって標準正規分布表より検出力は0.6915となる．
[2]
帰無仮説$H_0$のもとで，棄却限界値は$0.45+1.96\times\sqrt{\frac{0.45\times 0.55}{n}}$．
対立仮説$H_1$のもとで，棄却限界値は$0.50-z_\beta\times\sqrt{\frac{0.50\times 0.50}{n}}$．
検出力を80%とするので，$\beta=0.20$となり，統計量$z_\beta=0.84$となる．
以上より，$n=778.51$となり，必要なサンプルサイズは779．
問１０．２
[1]
$\chi^2=\frac{T_B^2}{\sigma_B^2}$は自由度15のカイ二乗分布に従うので，母分散の95%信頼区間は
P(\chi_{0.975}^2(15)\leq\frac{T_B^2}{\sigma_B^2}\leq\chi_0.025^2(15))=0.95
が成り立てばよい．よって，$(3.64,15.97)$となる．
[2]
統計量$F=\frac{V_1/\sigma_1^2}{V_2/\sigma_2^2}$は自由度$(n_1-1,n_2-1)$のF分布となる．よってア=15．
$F_0.05(15,15)=2.862$なので，イ＝棄却できる．
問１０．３
[1]
不良品が$r$個発見される確率は二項分布${}_5C_rp^r(1-p)^{5-r}$に従う．
- $r=0,p=0.3$のとき，${}_5C_0{0.3}^0{0.7}^{5}=0.1681$
- $r=1,p=0.3$のとき，${}_5C_1{0.3}^1{0.7}^{4}=0.3602$
- $r=2,p=0.3$のとき，${}_5C_2{0.3}^2{0.7}^{3}=0.3087$
[2]
生産者危険は$P(p= 0.1,r\geq2)=P(p=0.1,r=2)+P(p=0.1,r=3)+\cdots=0.08$．
消費者危険は$P(p=0.2,r\leq 1)=P(p=0.2,r=1)+P(p=0.2,r=0)=0.74$．