で測度論に基づいて確率変数を導入しました。今回はその極限の振る舞いについて紹介したいと思います。このような極限の操作をするときに普通の確率論を超えた測度論的な議論が必要になってきます。
確率変数の収束の種類
確率変数の収束の仕方にはいくつかの種類があります。
まずは同じ確率空間$(\Omega,\mathcal{F},p)$上で、確率変数の列$X_n$と確率変数$X$を考えます。
概収束
p\left(\lim_{n \rightarrow \infty} X_n(\omega) = X(\omega)\right) = 1
を概収束と言い、
X_n \xrightarrow{a.s.} X
と書きます。イプシロンーデルタ法っぽく書くと
p\left(\forall \epsilon>0, \exists N \in \mathbb{N}: n>N \Rightarrow |X_n(\omega) - X(\omega)|<\epsilon \right) = 1
です。
確率収束
\forall \epsilon > 0: \lim_{n \rightarrow \infty} p( |X_n(\omega) - X(\omega)|>\epsilon) = 0
を確率収束と言い、
X_n \xrightarrow{p} X
や
\underset{n \rightarrow \infty}{\mathrm{l.i.p.}} X_n = X
と書きます。
チェビシェフの不等式
確率収束性を示すのによく次の関係式を使います：
\forall k>0: p(|X(\omega) - E[X]| \geq kV[X]) < \frac{1}{k^2}
p次平均収束
$X_n,X \in L_p(\Omega,\mathcal{F},p)$のとき、
\lim_{n \rightarrow \infty} E[|X_n-X|^p]=0
を$p$次平均収束と言い、
X_n \xrightarrow{L_p} X
と書きます。
関係性
- $X_n$が$X$に概収束するならば確率収束する。
- $X_n$が$X$に$p$次平均収束するならば確率収束する。
よって、確率収束が一番緩い性質になっています。一般に逆は成り立ちません。
コメント
確率収束することを弱法則、概収束することを強法則と呼んだりします。
大数の弱法則
独立な確率変数の列
\{X_i\}_{i=1}^\infty \subset L_2(\Omega,\mathcal{F},p)
に対して
\mu_i = E[X_i] \\
\sigma_i^2 = E[(X_i-\mu_i)^2]
とすると、
\sup_n\frac{\sum_{i=1}^n \sigma_i^2 }{n} < \infty \\
\Rightarrow \frac{\sum_{i=1}^n X_i}{n} - \frac{\sum_{i=1}^n \mu_i}{n} \xrightarrow{p} 0
ボレルーカンテーリの補題
事象の列
A_i,A_2,\cdots \in \tilde{\mathcal{F}}
に対して、「$A_n$が無限に起こること」を
\{A_n \quad i.o. \} = \bigcap_{k=1}^\infty \bigcup_{n=k}^\infty A_n \\
= \{ \omega \in \Omega \mid \forall k \geq 1, \exists n \geq k: \omega \in A_n \}
と定義します。
このとき、
- $\sum_{i=1}^\infty p(A_n) < \infty \Rightarrow p(A_n \quad i.o.) = 0$
- $A_1,A_2,\cdots$が独立なとき、$\sum_{i=1}^\infty p(A_n) = \infty \Rightarrow p(A_n \quad i.o.) = 1$
大数の強法則
独立同一な($i.i.d.$な)確率変数の列
\{X_i\}_{i=1}^\infty \subset L_1(\Omega,\mathcal{F},p): i.i.d.
は
\frac{ \sum_{i=1}^n X_i }{n} \xrightarrow{a.s.} E[X_1]
確率分布の弱収束
ここまでは同一の確率空間上での議論でしたが、(σ加法族や測度について)異なる確率空間上の確率変数の列の収束について考えます。
弱収束
確率空間$(\Omega_i,\mathcal{F}_i,p_i)$上の確率変数$X_i$と
$X_i$の分布関数$F_i((-\infty,x]) = p_i(X^{-1}((-\infty,x]))$、
同様に確率空間$(\Omega,\mathcal{F},p)$上の確率変数と、その分布関数$F$を用意します。
$F$のすべての連続点$x \in \mathbb{R}$において$\lim_{n \rightarrow \infty} F_n(x) = F(x)$であることを$X_n$が$X$に弱収束すると言い、
X_n\rightsquigarrow X
と表します。
連続写像定理
連続写像$f:\mathbb{R} \rightarrow \mathbb{R}$に対して、
X_n \rightsquigarrow X \Rightarrow f(X_n) \rightsquigarrow f(X)
収束の強さ
X_n \xrightarrow{p} X \Rightarrow X_n \rightsquigarrow X
ポートマントーの定理
以下の５つはすべて同値
- $X_n \rightsquigarrow X$
- 任意の有界連続関数$f:\mathbb{R} \rightarrow \mathbb{R}$の大して、$E[f(X_n)] \rightarrow E[f(X)]$
- 任意の有界一様連続関数$f:\mathbb{R} \rightarrow \mathbb{R}$の大して、$E[f(X_n)] \rightarrow E[f(X)]$
- 任意の閉集合$C$($C^c \in\mathcal{O}$)に対して$\limsup_n p_n(C) \leq p(C)$
- 任意の開集合$O \in \mathcal{O}$に対して$\liminf_n p_n(O) \geq p(O)$
特性関数に関する極限
レヴィの連続性定理
- $X_n \rightsquigarrow X \Rightarrow \phi_{X_n}(t) \xrightarrow{pointwise} \phi_X(t)$
- ある関数$\phi:\mathbb{R} \rightarrow \mathbb{C}$が存在して、これが$t=0$で連続であり、なおかつ$\phi_{X_n}(t) \xrightarrow{pointwise} \phi_X(t)$ならば、$\phi$を特性関数に持つ確率変数$X$が存在して$X_n \rightsquigarrow X$となる
中心極限定理
確率空間$(\Omega,\mathcal{F},p)$
$X_1,X_2,\cdots, X_n$が平均$\mu$、分散$\sigma^2$の独立同一分布に従うとき、
\begin{align}
\Phi_n &=\frac{\sqrt{n}}{\sigma} \left( \frac{\sum_{i=1}^n X_i}{n} - \mu \right) \\
\Omega^n &= \Omega\times\cdots\times\Omega \\
\mathcal{F}^n &= \mathcal{F}\otimes\cdots\otimes\mathcal{F} \\
p^n &= p \times \cdots \times p
\end{align}
と定義すると、$\Phi_n$は確率空間$(\Omega^n,\mathcal{F}^n,p^n)$上の確率変数です。
このとき、$p_N$は標準正規分布関数
N_{(0,1)}(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}
に対する確率測度を
p_N(A) = \int_{X(A)} N_{(0,1)}(x) d\mu(x)
($\mu$はルベーグ測度)と表すと、
ある確率空間$(\Omega^\infty,\mathcal{F}^\infty,p_N)$
とその上の確率変数$\Phi$が存在して、
\Phi_n \rightsquigarrow \Phi
となります。
この定理は特性関数の極限を使って証明できます。
参考資料
- 伊藤清「確率論」岩波書店