前回は統計的仮設検定とは何なのかということについて勉強しました。
$\qquad$$\qquad$リンク：統計的仮説検定1： 検定とはなんぞや
今回はp値とは結局なんなのかということについて勉強したので忘れないうちに書いていきます。
有意水準
神のみぞ知る真実は帰無仮説が正しいにも関わらず、検定で帰無仮説を棄却してしまうことを第1種の過誤といい、
神のみぞ知る真実は帰無仮説が間違っているのにも関わらず、検定で帰無仮説を採択してしまうことのことを第2種の過誤というのでした。
そして、良い検定とはこれら2つの過誤を犯す確率がともに小さい検定のことをいうのでした。
しかし、与えられた標本の下で、これら両方の確率を小さくするような検定は一般にはしません[1]。
そこで第1種の過誤の確率が $α$ 以下になる検定のうち、第2種の過誤の確率が最小になる検定を選ぶ方法を考えます。
つまり、標本 $X$ , 検定統計量 $T(X)$ , 棄却域を $C$ とした時、ある $α(0≤α≤1)$ をあらかじめ決めておき、
$\qquad P_\theta\bigl\{T(X)\in C \ |\ \theta\in\Theta_0\bigr\},≤α$ ( 第1種の過誤の確率が $α$ 以下 )
の下で、
$\qquad P_\theta\bigl\{T(X)\in C^c\ |\theta\in\Theta_1\bigr\}$ ( 第2種の過誤の確率 )
（※$C^c$ は $C$ の補集合）
を最小にする方法を考えます。
このあらかじめ決めた $α$ のことを有意水準といいます。
要は第1種の過誤について許容できる最大の確率のことですね。
p値
与えられたデータに対し、帰無仮説を棄却できる最小の有意水準のことを $p$ 値といいます。
定義自体はいたってシンプルですね。
■例1
例えば、片側検定を考えるとします。
帰無仮説を $H_0$ 、検定統計量を $T(X)$ とし、 $t$ を実際の観測値から求めた $T$ の値とすると $p$ 値は次のように求められます。
$\qquad$ $p$ 値 $=P_\theta\bigl\{T(X) \geq t\ |\ H_0 \bigr\}$
つまり $p$ 値とは「帰無仮説 $H_0$ の下(これがかなり重要)で、検定統計量(確率変数) $T$ が、実際の観測値から計算された検定統計量の値(実現値) $t$ よりも大きくなる確率」のことです。
■例2
例えば、
t.test(a, b, var.equal=TRUE)
Two Sample t-test
data: a and b
t = 1.8429, df = 18, p-value = 0.08187
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-1.410388 21.559806
sample estimates:
mean of x mean of y
52.35852 42.28381
こんな感じの結果が得られたとします。
$\qquad$ p-value = 0.08187
と書いてありますね。これが $p$値です。これは有意水準が $α = 0.08187$ よりも大きい検定では帰無仮説が棄却され、有意水準が $α = 0.08187$ よりも小さい検定では帰無仮説が採択されるということになります。
注意①
有意水準や $p$ 値の扱いで気を付けなければいけないのは、有意水準はデータを見る前に決めておくべきものであるという点です。
先に検定を行って(検定は先に採択と棄却に関するルールを決めておく手順を含むので、これは検定とは呼びませんがここでは他に呼び方が思いつかないので検定と呼んでしまっています。)、 $p$ 値が $0.012$ だったから有意水準 $α=0.05$で採択だ！というのはインチキということです。
みなさんインチキをしないように気をつけましょうね。
★参考★
[1]野田,宮岡：数理統計学の基礎(1992)
[2]間瀬,神保,鎌倉,金藤：工学のためのデータサイエンス入門(2004)