統計的仮説検定に使う確率分布の導出

正規分布$N(\mu,\sigma^2)$の確率密度関数と分布関数を

\begin{align}
f(x) &= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \\
F(x) &= \int_{-\infty}^x f(x') dx'
\end{align}

とします。

カイ２乗分布

X_1,X_2,\cdots,X_n \sim N(0,1)

として、帰納法で示します。

１変数のとき

Y=X^2

が従う確率密度を$\chi^2_1(y)$とすると、

\begin{align}
\chi^2_1(y) &= \frac{d}{dy}P(x^2 \leq y) \\
&= \frac{d}{dy}P(-\sqrt{y} \leq x \leq \sqrt{y}) \\
&= \frac{d}{dy} \int_{-\sqrt{y}}^\sqrt{y} f(x) dx \\
&= \frac{d}{dy}[F(\sqrt{y}) - F(-\sqrt{y}) ]
\end{align}

です。ここで、$t=\sqrt{y}$とすると、

\begin{align}
\chi^2_1(y) &= \frac{dt}{dy} \frac{d}{dt}[F(t)-F(-t)] \\
&= \frac{1}{2\sqrt{y}}[f(t)+f(t)] \\
&= \frac{1}{\sqrt{y}}f(\sqrt{y}) \\
&= \frac{1}{\sqrt{2\pi y}} e^{-\frac{y}{2}} \\
&= \frac{1}{\sqrt{2}\Gamma(\frac{1}{2})}y^{-\frac{1}{2}} e^{-\frac{y}{2}}
\end{align}

ここから、

\chi^2_n(y) = \frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})} y^{\frac{n}{2}-1} e^{-\frac{y}{2}}

と推測して、これを帰納的に示します。

n変数の場合

Y = \sum_{i=1}^{n-1} X_i^2 \sim \chi^2_{n-1} \\
X_n \sim \chi^2_1

と仮定すると、

Y = \sum_{i=1}^n X_i^2

が従う分布は畳み込み

(\chi^2_{n-1} \otimes \chi^2_1)(y) = \int_0^y dy' \chi^2_{n-1}(y') \chi^2_1(y-y') \\
= \frac{e^{-\frac{y}{2}}}{2^{\frac{n}{2}}\Gamma(\frac{n-1}{2})\Gamma(\frac{1}{2})} \int_0^y dy' y^\frac{n-3}{2}(y-y')^\frac{1}{2}  

となります。ここで、$u=y'/y$と置くと、

(\chi^2_{n-1} \otimes \chi^2_1)(y) =  \frac{e^{-\frac{y}{2}}}{2^{\frac{n}{2}}\Gamma(\frac{n-1}{2})\Gamma(\frac{1}{2})} y^{\frac{n}{2}-1} \int_0^1 du u^{\frac{n-1}{2}-1}(1-u)^{\frac{1}{2}-1} \\
= \frac{e^{-\frac{y}{2}}}{2^{\frac{n}{2}}\Gamma(\frac{n-1}{2})\Gamma(\frac{1}{2})} y^{\frac{n}{2}-1} B(\frac{n-1}{2},\frac{1}{2})

と変形できます。ここで、ベータ関数を用いました。具体的には

B(\frac{n-1}{2},\frac{1}{2}) = \frac{\Gamma(\frac{n-1}{2})\Gamma(\frac{!}{2})}{\Gamma(\frac{n}{2})}

となるので、

(\chi^2_{n-1} \otimes \chi^2_1)(y) = \frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})} y^{\frac{n}{2}-1} e^{-\frac{y}{2}} = \chi^2_n(y)

となります。

t分布

X_1,X_2,\cdots,X_n \sim N(\mu,\sigma^2) \\
\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \\
s^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2

に対して検定統計量

t = \frac{X - \bar{X}}{\sqrt{s^2/n}}

の分布を求めましょう。ここで、

t = \sqrt{n(n-1)} \frac{X - \bar{X}}{\sigma}/ \sqrt{\frac{(n-1)s^2}{\sigma^2}} \\
W = \frac{X - \bar{X}}{\sigma} \sim N(0,1) \\
\frac{Y}{n-1} = \sqrt{\frac{s^2}{\sigma^2}} \sim \chi^2_{n-1}

なので、代わりに

W \sim N(0,1) \\
Y \sim \chi^2_n \\
Z = \frac{W}{\sqrt{Y/n}}

が従う分布を求めることにします。

P(a \leq Z \leq b) = P\left(\sqrt{\frac{Y}{n}}a \leq X \leq \frac{Y}{n}b \right) \\
= \int_0^\infty dy\int_{\sqrt{\frac{y}{n}}a}^{\sqrt{\frac{y}{n}}b} dw f(w) \chi_n^2(y) \\
= \frac{1}{\sqrt{2\pi}2^\frac{n}{2}\Gamma(\frac{n}{2})} \int_0^\infty dy y^{\frac{n}{2}-1} \int_{\sqrt{\frac{y}{n}}a}^{\sqrt{\frac{y}{n}}b} dw e^{-\frac{w^2+y}{2}}

ここで、

w = \sqrt{\frac{y}{n}} u \\
v = \frac{1}{2}(1+\frac{u^2}{n})y

と置くと、

P(a \leq Z \leq b) = \frac{1}{\sqrt{2\pi n}2^\frac{n}{2}\Gamma(\frac{n}{2})} \int_0^\infty dy y^{\frac{n-1}{2}} \int_a^b du e^{-\frac{1}{2}(1+\frac{u^2}{2})y} \\
= \frac{1}{\sqrt{\pi n}\Gamma(\frac{n}{2})} \int_a^b du \left( 
\frac{n}{n+u^2} \right)^\frac{n+1}{2} \int_0^\infty dv v^\frac{n+1}{2}e^{-v} \\
= \frac{1}{\sqrt{n}}\frac{\Gamma(\frac{n+1}{2})}{\Gamma(\frac{1}{2})\Gamma(\frac{n}{2})} \int_a^b du \left( 1 + \frac{u^2}{n} \right)^{-\frac{n+1}{2}} \\
= \frac{1}{\sqrt{n} B(\frac{n}{2},\frac{1}{2})} \int_a^b du \left( 1 + \frac{u^2}{n} \right)^{-\frac{n+1}{2}} 

となります。そこで、

P(z) = \frac{1}{\sqrt{n} B(\frac{n}{2},\frac{1}{2})} \int_0^z du \left( 1 + \frac{u^2}{n} \right)^{-\frac{n+1}{2}} \\
t(z) = \frac{dP}{dz} = \frac{1}{\sqrt{n} B(\frac{n}{2},\frac{1}{2})} \left( 1 + \frac{z^2}{n} \right)^{-\frac{n+1}{2}}

となります。

F分布

X \sim \chi^2_m \\
Y \sim \chi^2_n

に対して、

Z = \frac{X/m}{Y/n}

が従う分布を求めます。

P(a \leq Z \leq b) = P\left( \frac{ma}{n}Y \leq X \leq \frac{mb}{n} Y \right) \\
= \frac{1}{2^\frac{m+n}{2}\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \int_0^\infty dy \int_\frac{ma}{n}^\frac{mb}{n} dx x^{\frac{m}{2}-1} y^{\frac{n}{2}-1} e^{-\frac{x+y}{2}}

ここで、

s = \frac{my}{nx} \\
y = \frac{2ns}{ns+m}u

と置くと

P(a \leq Z \leq b) = \frac{ (m/n)^\frac{m}{2}}{2^\frac{m+n}{2}\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \int_0^\infty dy \int_\frac{1}{b}^\frac{1}{a} ds s^{-\frac{m}{2}-1} y^{\frac{m+n}{2}-1} e^{-\frac{1}{2}(1+\frac{m}{ns})y} \\

= \frac{ (m/n)^\frac{m}{2}}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \int_\frac{1}{b}^\frac{1}{a} ds (\frac{ns}{n+m})^\frac{m+n}{2} s^{-\frac{m}{2}-1} \int_0^\infty du  u^{\frac{m+n}{2}-1} e^{-u} \\

= (\frac{m}{n})^\frac{m}{2} \frac{ \Gamma(\frac{m+n}{2})}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})} \int_\frac{1}{b}^\frac{1}{a} ds (\frac{ns}{n+m})^\frac{m+n}{2} s^{-\frac{m}{2}-1} \\

= (\frac{m}{n})^\frac{m}{2} \frac{1}{B(\frac{m}{2},\frac{n}{2})} \int_\frac{1}{b}^\frac{1}{a} ds (\frac{ns}{n+m})^\frac{m+n}{2} s^{-\frac{m}{2}-1} \\
= P(b)

と計算できます。

よって、F分布の確率密度関数は

F(m,n) = \frac{dP}{db} = (\frac{m}{n})^\frac{m}{2} \frac{1}{B(\frac{m}{2},\frac{n}{2})} b^{\frac{m}{2}-1} (1+ \frac{mb}{n})^{-\frac{m+n}{2}}

と求められます。