概要
仕事上で検定を行い有意差があるかを確認するタスクを振られたが、検定に関してあまり詳しく知らなかったため、各検定の特徴とそれぞれの数学的背景に関してまとめている。
各検定一覧は別のブログ（編集中）を参照してほしい。
目次
1.t検定とは
t検定は「母平均に対する検定」とも呼ばれており、例えば2群間の平均に優位差が出ているかや、母集団の平均が抽出されたサンプルの平均と比べて有意差があるのかなどを調べる時に用いられる。例えば、「都民の平均給料は500万円とは異なるか」や「リンゴAの大きさの平均値とリンゴBの大きさの平均値が異なるか」といったものが挙げられる。
ここで有意差とはどの際に言われるのだろうか。例えば、リンゴAとリンゴBを一つずつ買ってきてその大きさを比較した際にそのリンゴAの方が大きかったとして、果たして一般的にリンゴAの方が大きいと判別できるだろうか。そのように判別できないのは自明であり、説得力のある差を提示できて初めて有意差がある、と述べることができる。その説得力のある可動化を判別するには主に以下の3つの要素がある。
- データの平均値が大きく離れている
- データの平均値が信用できる（分散が小さい）
- サンプルサイズが大きい
上記3つを組み合わせた値がt値と呼ばれる。
$$t値 = \frac{平均値の差}{\sqrt{分散 / サンプルサイズ}}$$
このt値はt分布に従うことが一般的に言われており、その数学的背景は後述する。導出されたt値からp値を求めることができ、そのp値を用いて有意差があるかどうか、帰無仮説が棄却されるかどうかを判別する。
2.t検定の対象
t検定は2群間の平均値を比べる際に用いられる検定であると上記で軽く述べた。この章ではどのようなデータや対象に対して用いることができるのかを述べる。
対象となるデータはパラメトリックである必要がある。パラメトリックとは、パラメータを用いてそのデータを表現することができるものであり、すなわち、ある分布（一般には正規分布）に従うデータに対して行うことができる。すなわち、「パラメトリック」なデータかつ「平均値」の差を調べる際にt検定は用いられる。
主な検定の流れは同じだが、主にt検定は3種類に大別される。
- 1標本t検定（母平均の検定）
- 350mlのビール缶は本当に350ml含まれているのか
- 2標本t検定（対応のない場合）
- サッカー部とバスケ部で平均身長は異なるのか
- 2標本t検定（対応のある場合）
- 同じ人を対象に、走る前と走った後で体温に違いが出るか
3.t検定の数学的背景
上記ではt検定の概要を説明したが、この章ではt検定の導出と数学的理解を深めようと思う。（概要のみで良いという人は読み飛ばしてください）
t分布の確率変数の導出
まず初めにt分布の確率変数を導出する。
確率変数$X_1, X_2, \cdots, X_n$ が独立に$N(\mu, \sigma^2)$に従う時、標本平均
$$\tilde{X} = \sum_{i=1}^n \frac{X_i}{n}$$
は$N(\mu, \frac{\sigma^2}{n})$に従い、変数変換によって
$$\tilde{Y} = \frac{\tilde{X} - \mu}{\sigma / \sqrt{n}}$$
は$N(0, 1)$に従う。（ $\because$ 補題1）
次に標本平均と普遍分散
\tilde{X} = \sum_{i=1}^n \frac{X_i}{n} \\
s^2 = \sum_{i=1}^n \frac{(X_i - \tilde{X})^2}{n-1}
は互いに独立であり、統計量$\frac{(n-1)s^2}{\sigma^2}$を考えると、これは自由度$(n-1)$のカイ二乗分布に従う。（ $\because$ 補題2）
よって、
\frac{s^2}{\sigma^2} \sim \frac{\chi^2 (n-1)}{n-1}
上記、標準正規分布に従う確率変数とカイ二乗分布に従う確率変数が導入できたところで、これらを扱いt分布を導出する。
一般に$\frac{\tilde{X} - \mu}{\sigma / \sqrt{n}}$の分母の$\sigma$の値は不明であり（母集団が把握できないため）、その際に、次のように$\sigma$を標本から計算可能な普遍分散$s$で代用して行われる。
\frac{\tilde{X} - \mu}{\sigma / \sqrt{n}} \Rightarrow \frac{\tilde{X} - \mu}{s / \sqrt{n}} = \frac{\frac{\tilde{X}-\mu}{\sigma / \sqrt{n}}}{s /\sigma} = \frac{\tilde{Y}}{\sqrt{\frac{s^2}{\sigma^2}}}
これは分子が$N(0, 1)$、分母の中身は$\frac{\chi^2(n-1)}{n-1}$に従うのは上で示されており、この右辺の確率変数に従う分布を（スチューデントの）t分布と呼ぶ。
t分布の確率密度関数の導出
次にt分布の確率密度関数を$N(0, 1)$と$\chi^2$分布から導出する。
変数$(y, z) \rightarrow (t, u)$への変換を以下のように定める。
y = t \sqrt{\frac{u}{n}}, z = u
変換前の$\frac{Y}{\sqrt{Z/n}}$の従う確率密度関数を$f_{YZ}(y,z); -\infty \le y \le \infty, 0 \le z \le \infty$、
変換後の$T, U$の従う確率密度関数を$f_{TU}(t,u); -\infty \le t \le \infty, 0 \le u \le \infty$とすると、
\begin{align}
\displaystyle \iint_{y, z} f_{YZ}(y, z)dydz &= \iint_{y, z} f_{TU}(t, u)dtdu \\
&= \iint_{t, u} f_{YZ}(y(t,u), z(t,u)) \left|J(y,\frac{z}{t},u)\right| dtdu \\
\end{align}
となる。
ここで、t分布を考える際に、確率変数$U$に制限はなく独立に任意の値を取るため、$u$について積分することによって$T$の周辺確率密度関数
f_Y(t) = \displaystyle \int_0^\infty f_{TU}(t, u)dtdu
を得ることができる。
2変数による変数変換のため、ヤコビアン行列を計算する必要があり、ヤコビアンは
\left|J(y,\frac{z}{t},u)\right| =
\left|
\begin{matrix}
\partial y / \partial t & \partial y /\partial u \\
\partial z / \partial t & \partial z \partial u
\end{matrix}
\right| = \left|
\begin{matrix}
\sqrt{\frac{u}{n}} & \frac{t}{2\sqrt{nu}} \\
0 & 1
\end{matrix}
\right| = \sqrt{\frac{u}{n}}
また、確率変数$Y,Z$が独立より
$$f_{YZ}(y(t,u), z(t,u)) = f_{Y}(y(t,u)) * f_{Z}(z(t,u))$$
ここで、
\begin{align}
f_Y(y) &= \frac{1}{\sqrt{2\pi}} exp \left( -\frac{y^2}{2} \right) \\
f_Z(z) &= \frac{1}{2^{\frac{n}{2}} \Gamma(\frac{n}{2})}z^{\frac{n}{2} - 1}e^{-\frac{z}{2}}
\end{align}
より、確率変数$T, U$の従う確率密度関数は
\begin{align}
f_{TU}(t, u) &= f_{YZ}(y(t,u), z(t,u)) \left| J(y,\frac{z}{t},u) \right| \\
&= \frac{1}{\sqrt{2\pi}, 2^{\frac{n}{2}} \Gamma(\frac{n}{2})} u^{\frac{n}{2}-1} exp \left\{ -\frac{u}{2} (1+\frac{t^2}{n}) \right\} \sqrt{\frac{u}{n}}
\end{align}
最後に上記で得られた確率密度関数を$u$に関して積分し、確率変数$T$が従う周辺確率密度関数を求める。この際、以下の変数変換を用いる。
\begin{align}
\frac{u}{2}(1+\frac{t^2}{n}) = w &\Rightarrow \frac{1}{2} (1 + \frac{t^2}{n})du = dw \\
u \in [0,\infty] &\Rightarrow w \in [0,\infty]
\end{align}
このとき、
\begin{align}
u^{\frac{n}{2}-1} \sqrt{u}du &= u^{\frac{n-1}{2}}du \\
&= (\frac{2w}{1+\frac{t^2}{n}})^{\frac{n-1}{2}} \frac{2}{1+\frac{t^2}{n}}dw \\
&= 2^{\frac{n+1}{2}}\frac{w^{\frac{n+1}{2}-1}}{\left( 1+\frac{t^2}{n} \right)^{\frac{n+1}{2}}} dw
\end{align}
に注意して、
\begin{align}
f_T(t) &= \int_0^\infty f_{TU}(t, u)du \\
&= \frac{2^{\frac{n+1}{2}}}{\sqrt{2n\pi}2^\frac{n}{2}\Gamma(\frac{n}{2})\left( 1+\frac{t^2}{n} \right)^{\frac{n+1}{2}}} \int_0^\infty w^{\frac{n+1}{2} -1} e^{-w} dw \\
&= \frac{1}{\sqrt{n\pi}\Gamma(\frac{n}{2})\left( 1+\frac{t^2}{n} \right)^{\frac{n+1}{2}}} \int_0^\infty w^{\frac{n+1}{2} -1} e^{-w} dw \\
&= \frac{1}{\sqrt{n\pi}\Gamma(\frac{n}{2})\left( 1+\frac{t^2}{n} \right)^{\frac{n+1}{2}}} \Gamma \left( \frac{n+1}{2} \right) (\because \text{ガンマ関数の定義}) \\
\end{align}
さらにベータ関数とガンマ関数の代表点
\beta (p, q) = \frac{\Gamma (p) \Gamma (q)}{\Gamma(p+q)}, \Gamma(\frac{1}{2}) = \sqrt{\pi}
を用いると、
f_T(t) = \frac{1}{\sqrt{n} \beta ( \frac{n}{2}, \frac{1}{2} )} \left( \frac{t^2}{n} + 1 \right)^{-\frac{n+1}{2}}
補題の証明
補題1
確率変数$X_1, X_2, \cdots, X_n$ が独立に$N(\mu, \sigma^2)$に従う時、標本平均
$$\tilde{X} = \sum_{i=1}^n \frac{X_i}{n}$$
は$N(\mu, \frac{\sigma^2}{n})$に従い、変数変換によって
$$\tilde{Y} = \frac{\tilde{X} - \mu}{\sigma / \sqrt{n}}$$
は$N(0, 1)$に従う。
【証明】
まず初めに正規分布の再生性を証明する。正規分布の積率母関数
\begin{align}
M(t) &= \displaystyle \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi} \sigma} exp\left( \frac{-(x-\mu)^2}{2\sigma^2} + xt \right)dx \\
&= \displaystyle \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi} \sigma} exp\left( \frac{-1}{2\sigma^2} (x-\mu-\sigma^2t)^2 + \frac{1}{2} \sigma^2t^2 + \mu t \right)dx \\
&= exp \left( \frac{1}{2}\sigma^2t^2 + \mu t \right) \displaystyle \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi} \sigma} exp\left( -\frac{(x-\mu-\sigma^2t)^2}{2\sigma^2}\right)dx \\
&= exp \left( \frac{1}{2} \sigma^2t^2 + \mu t \right)
\end{align}
独立な確率変数$x_1, X_2$が$X_1 \sim N(\mu_1, \sigma_1^2)$, $X_2 \sim N(\mu_2, \sigma_2^2)$のとき、確率変数$Y = X_1 + X_2$の積率母関数は、上記で求めた積率母関数を用いると、
\begin{align}
M_Y(t) &= M_{X_1} + M_{X_2} \\
&= exp \left( (\mu_1 + \mu_2)t + \frac{(\sigma_1^2 + \sigma_2^2)t^2}{2} \right)
\end{align}
より、和に関して正規分布は再生性を持つ。
以上より、$n\tilde{X} = \sum_{i=1}^nX_i$に関して、
\begin{align}
&& n\tilde{X} \sim N(n\mu, n\sigma^2) \\
&& \Rightarrow \tilde{X} \sim N(\mu, \frac{\sigma^2}{n}) &&(\because V(aX) = a^2V(X))
\end{align}
補題2
確率変数$X_i$が独立に正規分布に従う時、標本平均と標本分散（又は不偏分散）
\tilde{X} = \sum_{i=1}^n \frac{X_i}{n} \\
S^2 = \sum_{i=1}^n \frac{(X_i - \tilde{X})^2}{n} \text{又は} s^2 = \sum_{i=1}^n \frac{(X_i - \tilde{X})^2}{n-1}
は互いに独立であり、$\frac{nS^2}{\sigma^2}$（又は$\frac{(n-1)s^2}{\sigma^2}$）は自由度$n-1$のカイ二乗分布に従う。
【証明】
$Y_i = \frac{X_i - \mu}{\sigma}$となる確率変数は独立に$N(0, 1)$に従う。さらに、$Y_i$を成分とするベクトルは正規直交基底を正規直交基底に移す直交行列を用いて次のような変換を行うと、
Y = (Y_1, Y_2, \cdots, Y_n)^T \Rightarrow Z = (Z_1, Z_2, \cdots, Z_n)^T \ \ \ (Z = UY)
この変換後のベクトル$Z$の成分$Z_i$も独立に$N(0, 1)$に従う。（$\because$ 補題3）
また、ベクトルの大きさは直交行列の性質より不変。よって
$$Y_1^2 + Y_2^2 + \cdots + Y_n^2 = Z_1^2 + Z_2^2 + \cdots + Z_n^2$$
この時、$\mathbb{u}_i \in \mathbb{R}^{1 \times n}$を用いて、直交行列
U =
\begin{pmatrix}
\mathbb{u}_1 \\
\mathbb{u}_2 \\
\cdots \\
\mathbb{u}_n
\end{pmatrix}
と書く時、1行目を
\mathbb{u}_1 = \frac{1}{\sqrt{n}} \mathbb{1}
と選び、$\mathbb{u}_1, \mathbb{u}_2, \cdots, \mathbb{u}_n$が正規直交基底となるように選べば直交行列$U$を定めることができる。この時、1つ目の成分は
\begin{align}
Z_1 = \mathbb{u}_1 Y &= \frac{1}{\sqrt{n}} (Y_1 + \cdots + Y_n) \\
&= \frac{1}{\sqrt{n}} \frac{1}{\sigma} (X_1 + \cdots + X_n - n\mu) = \frac{\sqrt{n}}{\sigma} (\tilde{X} - \mu)
\end{align}
よって、
$$Z_1^2 = \frac{n}{\sigma^2} (\tilde{X}-\mu)$$
このとき、
\begin{align}
\sum_{i=1}^n Y_i^2 &= \sum_{i=1}^n \frac{(X_i - \mu)^2}{\sigma^2} = \sum_{i=1}^n \frac{\left\{ (X_i - \tilde{X}) + (\tilde{X} - \mu) \right\}^2}{\sigma^2} \\
&= \sum_{i=1}^n \frac{(X_i - \tilde{X})^2}{\sigma^2} + 2(\tilde{X} - \mu) \sum_{i=1}^n \frac{X_i - \tilde{X}}{\sigma^2} + \sum_{i=1}^n \frac{(\tilde{X} - \mu)^2}{\sigma^2} \\
&= \frac{nS^2}{\sigma^2} + 0 + Z_1^2
\end{align}
ここで、$\sum_{i=1}^n Y_i^2 = \sum_{i=1}^n Z_i^2$より、
Z_2^2 + \cdots + Z_n^2 = \frac{nS^2}{\sigma^2}
結局、適当な基底変換$U$によって、確率変数「$\tilde{X}$は$Z_1$のみ、$\frac{nS^2}{\sigma^2}はZ_2^2 + \cdots + Z_n^2$に従う」ようにすることができ、$Z_i$が独立に$N(0, 1)$に従うことから$Z_1^2 + \cdots + Z_n^2$も独立。
以上より、
$\tilde{X}$と$\frac{nS^2}{\sigma^2}$は独立で、$\tilde{X} \sim N(\mu, \frac{\sigma^2}{n})$、$\frac{nS^2}{\sigma^2} \sim \chi (n-1)$
補題3
独立な確率変数$X_1, X_2, \cdots, X_n$が$N(0, 1)$に従う時、直交行列$U$による変換
Y =
\begin{pmatrix}
Y_1 \\
Y_2 \\
\cdots \\
Y_n
\end{pmatrix} = UX = U
\begin{pmatrix}
X_1 \\
X_2 \\
\cdots \\
X_n
\end{pmatrix}
によって得られる$Y_1, Y_2, \cdots, Y_n$も独立で、それぞれ$N(0, 1)$に従う。
【証明】
$N(0, 1)$の確率密度関数
f(x) = \frac{1}{\sqrt{2 \pi}}exp\left( -\frac{x^2}{2} \right)
に対して、直交行列による変換で得られるベクトルの大きさの二乗は不変のため、
\begin{align}
f(x_1, x_2, \cdots, x_n) &= f(x_1) \cdot f(x_2) \cdot \cdots \cdot f(x_n) \\
&= \left( \frac{1}{\sqrt{2\pi}} \right)^n exp \left\{ - \frac{x_1^2 + \cdots + x_n^2}{2} \right\} \\
&= \left( \frac{1}{\sqrt{2\pi}} \right)^n exp \left\{ - \frac{y_1^2 + \cdots + y_n^2}{2} \right\} \\
&= g(x_1) \cdot g(x_2) \cdot \cdots \cdot g(x_n)
\end{align}
ただし、$g(y) = \frac{1}{\sqrt{2 \pi}}exp\left( -\frac{y^2}{2} \right)$。
すなわち、
$Y_1, \cdots, Y_n$は独立に$N(0, 1)$に従う。