確率変数の収束
確率変数の列 $X_1,X_2,...$ を考え, これを $\lbrace X_n \rbrace$ と略記する.
確率収束
$\lbrace X_n \rbrace$ がある確率変数 $Y$ に確率収束するとは, 任意の $\epsilon > 0$ に対して, 以下が成り立つことと定義される.
$$
\lim_{n \to \infty} P(|X_n - Y| > \epsilon) = 0
$$
平均二乗収束
平均二乗収束は以下が成り立つことと定義される.
$$
\lim_{n \to \infty} E\big[(X_n - Y)^2\big] = 0
$$
なお, 平均二乗収束する確率変数は確率収束するが, これをチェビシェフの不等式によって示す. チェビシェフの不等式は, 確率変数 $X$ が $E[X] = \mu, V[X] = \sigma^2$ のとき, 任意の $k > 0$ に対して以下が不等式が成り立つ.
$$
P(|X - \mu| \geq k) \leq \frac {\sigma^2} {k^2}
$$
ここで, 上記の不等式において $X = X_n, E[X_n] = Y$ とすると, $V[X_n] = E[(X_n-Y)^2]$より,
$$
P(|X_n - Y| \geq k) \leq \frac {E[(X_n - Y)^2]} {k^2}
$$
が成り立つ. 右辺 $E[(X_n - Y)^2$ は平均二乗収するので, $n \to \infty$ で左辺も 0に収束する. したがって, 平均二乗収束するならば確率収束する.
大数の弱法則
$\lbrace X_n \rbrace$ は独立同一分布に従い, $E[X_n] = \mu, V[X_n] = \sigma^2$ とする.
このとき, $\lbrace X_n \rbrace$ の標本平均
$$
\bar{X_n} = \frac {1} {n} \sum_{i=1}^{n} X_i
$$
は, $n \to \infty$ のもとで $\mu$ に平均二乗収束する. よって上述より, 確率収束もする. この定理を大数の弱法則という.
$\mu$ に平均二乗収束することを以下で示す.
$$
E[\bar{X_n}] = \frac {1} {n} n \mu = \mu
$$
$$
V[\bar{X_n}] = \frac {1} {n^2} n \sigma^2 = \frac {\sigma^2} {n}
$$
より,
$$
E[(\bar{X_n} - \mu)^2] = V[\bar{X_n}] = \frac {\sigma^2} {n}
$$
よって $n \to \infty$ のとき $\sigma^2 / n \to 0$ より, $\bar{X_n}$は$\mu$に平均二乗収束する.
標本平均の $\mu$ への確率収束の証明は, 平均二乗収束するので確率収束することはいえるが、チェビシェフの不等式によっても示すことができる.
チェビシェフの不等式において $X=\bar{X_n}$ とおくと,
$$
P(|\bar{X_n} - \mu| \geq k) \leq \frac {V[\bar{X_n}]} {nk^2} = \frac {\sigma^2} {nk^2}
$$
よって, $n \to \infty$ のとき $\bar{X_n}$ は $\mu$ に確率収束する.
例1
$X_i(i=1,...,n)$ はそれぞれ独立に区間 $[0,1]$ の一様分布に従うので,
$$
E[X_i] = \frac {1} {2}
$$
$(X_1 + ... + X_n)/n$ は標本平均 $\bar{X_n}$ であるから, 大数の弱法則より$n \to \infty$ のとき $\bar{X_n}$ は $1/2$ に平均二乗収束する. よって, その平方根である $Z_n$ は, $\sqrt{1/2}$ に平均二乗収束する.
標本平均 $\bar{X_n}$ の収束先を求めてから, 値を変換していけばよい.
確率分布の収束
$X_n$ の累積分布関数を $F_n(x) = P(X_n \leq x)$ とする. このとき, $\lbrace X_n \rbrace$ がある確率分布 $G$ に分布収束するとは, すべての連続点 $x$ において以下が成り立つことと定義される.
$$
\lim_{n \to \infty} F_n(x) = G(x)
$$
例2
$X_n$ の分布関数は, 標準正規分布の累積分布関数を $\Phi(x) = P(z \leq x)$ とすると,
\begin{align}
F_{X_n}(x) &= P(X_n \leq x) \\
&= P(z \leq \frac {x-0} {\frac {1} {\sqrt{n}}}) \\
&= P(z \leq \sqrt{n} x) \\
&= \Phi(\sqrt{n} x)
\end{align}
よって, $x > 0$ のとき $\lim_{n \to \infty} F_{X_n}(x) = 1$, $x < 0$ のとき $\lim_{n \to \infty} F_{X_n}(x) = 0$ である. したがって, $F_{X_n}(x)$ が収束する分布は,
G(x) = \left\{
\begin{array}{ll}
1 & (x \geq 0) \\
0 & (x \lt 0)
\end{array}
\right.
$n \to \infty$ のときの, $x$ のふるまいを考えていけばよい.
中心極限定理
中心極限定理
$\lbrace X_n \rbrace$ は平均 $\mu$, 分散 $\sigma^2$ の独立同一分布に従うと仮定する. また, $X_1,...,X_n$ の標本平均を $\bar{X}_n$ とする. このとき, $\sqrt{n}(\bar{X}_n - \mu)$ は正規分布 $N(0,\sigma^2)$ に分布収束する. これを中心極限定理という.
連続修正
離散分布を中心極限定理によって正規分布で近似するとき, 区間の選び方によって結果が変わってしまうことがある. このような場合は区間を半整数にすると近似が良くなることが知られている. この補正方法を連続修正という. 特に, 正規分布を使用して二項分布を近似する場合に現れる.
連続修正では, 区間を広げるように修正が行われる.
$$
P(X \geq x) ならば P(X \geq x - 0.5)
$$
$$
P(X \leq x) ならば P(X \leq x + 0.5)
$$
デルタ法
$\lbrace X_n \rbrace$ は平均 $\mu$, 分散 $\sigma^2$ の独立同一分布に従うと仮定する. また, $X_1,...,X_n$ の標本平均を $\bar{X}_n$ とする.
ある関数 $f$ を用いて $f(\bar{X}_n)$ と表される量を考える. このとき, $\sqrt{n}(f(\bar{X}_n) - f(\mu))$ の分布収束先が$N(0,f^{'}(\mu)^2\sigma^2)$ であることを示す方法がデルタ法である.
$f(x)$ が連続微分可能であれば, テイラーの定理から
\begin{align}
f(\bar{X}_n) &\approx f(\mu) + \frac {f^{'}(\mu)} {1!} (\bar{X}_n - \mu) + ... \\
f(\bar{X}_n) - f(\mu) &= \frac {f^{'}(\mu)} {1!} (\bar{X}_n - \mu) + ... \\
&\approx f^{'}(\mu) (\bar{X}_n - \mu)
\end{align}
と近似できる.
中心極限定理から$\sqrt{n}(\bar{X}_n - \mu)$ は正規分布 $N(0,\sigma^2)$ に分布収束するので, $\sqrt{n}(f(\bar{X}_n) - f(\mu))$ は
\begin{align}
E[\sqrt{n}(f(\bar{X}_n) - f(\mu))] &\approx E[\sqrt{n}f^{'}(\mu) (\bar{X}_n - \mu)] \\
&= f^{'}(\mu)E[\sqrt{n}(\bar{X}_n - \mu)] \\
&= 0
\end{align}
\begin{align}
V[\sqrt{n}(f(\bar{X}_n) - f(\mu))] &\approx V[\sqrt{n}f^{'}(\mu) (\bar{X}_n - \mu)] \\
&= f^{'}(\mu)^2V[\sqrt{n}(\bar{X}_n - \mu)] \\
&= f^{'}(\mu)^2 \sigma^2
\end{align}
したがって, $N(0,f^{'}(\mu)^2\sigma^2)$ に分布収束する.
例4
$f(x) = x^2$ とすると,
$$
\sqrt{n}(\bar{X_n}^2 - \mu^2) = \sqrt{n}(f(\bar{X_n}) - f(\mu))
$$
よって, デルタ法より $\sqrt{n}(\bar{X_n}^2 - \mu^2)$ は, $N(0,f^{'}(\mu)^2\sigma^2)$ に分布収束するが, $f^{'}(x) = 2x$ より, $N(0,4 \mu^2 \sigma^2)$ に分布収束する.
例題
問7.1
求める確率は, 確率変数 $X$ を 3 の目が出た回数とすると,
$$
P(X \geq 10)
$$
である. ここで $X$ は二項分布 $Bin(30,1/6)$ に従う確率変数なので,
$$
E[X] = 30 \cdot \frac {1} {6} = 5
$$
$$
V[X] = 30 \cdot \frac {1} {6} \cdot \frac {5} {6} = \frac {25} {6}
$$
である. よって求める確率に連続修正を行うと,
\begin{align}
P(X \geq 10) &= P(X \geq 9.5) \\
&= P(\frac {X - 5} {\sqrt{25/6}} \geq \frac {9.5 - 5} {\sqrt{25/6}}) \\
\approx P(z \geq 2.2)
\end{align}
標準正規分布の表よりおよそ 0.014 である.
問7.2 (1)
$f(x) = x / \sigma$ とすると,
$$
\sqrt{n}(\bar{X_n} - \mu) / \sigma = \sqrt{n}(\bar{X_n} / \sigma - \mu / \sigma) = \sqrt{n}(f(\bar{X_n}) - f(\mu))
$$
よって, デルタ法より $\sqrt{n}(\bar{X_n} - \mu) / \sigma$ は, $N(0,f^{'}(\mu)^2\sigma^2)$ に分布収束するが, $f^{'}(x) = 1 / \sigma$ より, $N(0,1)$ に分布収束する.
問7.2 (2)
$f(x) = x^3$ とすると,
$$
\sqrt{n}(\bar{X_n}^3 - \mu^3) = \sqrt{n}(f(\bar{X_n}) - f(\mu))
$$
よって, デルタ法より $\sqrt{n}(\bar{X_n}^3 - \mu^3)$ は, $N(0,f^{'}(\mu)^2\sigma^2)$ に分布収束するが, $f^{'}(x) = 3x^2$ より, $N(0, 9 \mu^4 \sigma^2)$ に分布収束する.