はじめに
- 現代数理統計学の基礎 (共立講座 数学の魅力)
- 2018/5/6、amazonで購入。
- 第５章「標本分布とその近似」の確率収束の定義に関するメモ。
- 参考文献 Convergence of random variables
- 参考文献 確率論・確率論概論 講義ノート
確率収束の定義が理解できない問題
確率変数$X_n$が$X$に確率収束することについて以下のように定義されている。
\begin{align}
\forall\epsilon>0\to\lim_{n\to\infty}\Pr(|X_n-X|\ge\epsilon)=0
\end{align}
$\Pr(|X_n-X|\ge\epsilon)$の具体的な計算方法が思い浮かばない。
$X_n$と$X$の同時確率分布を考える必要があるのだろうか。
$X_n$と$X$が独立であると仮定すると、それぞれの確率密度関数を$f_{X_n},f_X$として、$\Pr$の計算は以下のようになるはず。
\begin{align}
\Pr(|X_n-X|\ge\epsilon)&=\int_{-\infty}^\infty\left(\int_{-\infty}^{x-\epsilon} f_{X_n}(y)dy+\int_{x+\epsilon}^\infty f_{X_n}(y)dy\right)f_X(x)dx
\end{align}
しかしながら上記の計算値は、例え$X_n=X$の場合であっても、$n\to\infty$としてもゼロには収束しない。
従って$X_n$と$X$の間に何らかの依存関係を仮定していることになる。
一方、$X$を標準正規分布、$X_n$を自由度$n$のt分布とすると、$n\to\infty$の極限で$X_n$は$X$に収束する。
この場合、$X_n$と$X$の間に特に明示的な依存関係は仮定していないように見える。
これをどのように解釈したら良いのか。
少なくとも定義式の中の$X_n-X$はいわゆる一般的な確率変数同士の差を表してはいないはず。
厳密な定義
より厳密な確率論によれば、確率変数とは標本空間$\Omega$から$R$への写像であり、確率収束は以下のように定義されている。
\begin{align}
\forall\epsilon>0\to\lim_{n\to\infty}\Pr(\omega|\ |X_n(\omega)-X(\omega)|\ge\epsilon)=0
\end{align}
従って同一の$\omega\in\Omega$に対する確率変数の値$X_n(\omega),X(\omega)\ $を比較する必要がある。
標本空間$\Omega$は、応用的な確率論では裏に隠れている。
確率$P$は、確率変数とは無関係に、標本空間$\Omega$に対して定義される。
そこで$\Omega=[0,1]$と定義すれば、確率$P$は$\Omega$における線の長さと考えることができる。
この場合、$X$の累積分布関数を$F_X$とすると、$X(\omega)=F_X^{-1}(\omega)\ $となることが分かる。
\begin{align}
F_X(x)&=\Pr(\omega|X(\omega)\le x)=\Pr(\omega|\omega\le X^{-1}(x))=\Pr([0,X^{-1}(x)])
=X^{-1}(x)
\end{align}
従って$X_n(\omega)-X(\omega)=F_{X_n}^{-1}(\omega)-F_X^{-1}(\omega)$となる。
単位ステップ関数を$\ H(t)=0(t\lt0),1(t\ge0)\ $とすると、確率収束の定義は以下のようになる。
\begin{align}
\forall\epsilon>0\to\lim_{n\to\infty}\int_0^1 H\left(\left|F_{X_n}^{-1}(s)-F_X^{-1}(s)\right|-\epsilon\right)ds&=0
\end{align}
これなら計算はできる。簡単かどうかは別にして。
確率変数$X$が定数$C$の場合は、大雑把に$F_X^{-1}(s)=C$と考えることができる。
$s=F_{X_n}(y)$と変数変換すると確率収束の定義は以下のようになり、素朴な定義と一致する。
\begin{align}
\int_0^1 H\left(\left|F_{X_n}^{-1}(s)-F_X^{-1}(s)\right|-\epsilon\right)ds&=
\int_{-\infty}^\infty H(|y-C|-\epsilon)f_{X_n}(y)dy\\
&=\int_{-\infty}^{C-\epsilon} f_{X_n}(y)dy+\int_{C+\epsilon}^\infty f_{X_n}(y)dy\\
\forall\epsilon>0\to\lim_{n\to\infty}\Pr(|X_n-C|\ge\epsilon)&=\lim_{n\to\infty}\left(\int_{-\infty}^{C-\epsilon} f_{X_n}(y)dy+\int_{C+\epsilon}^\infty f_{X_n}(y)dy\right)=0
\end{align}
平均二乗収束の定義が理解できない問題
確率変数$X_n$が$X$に平均二乗収束することについては以下のように定義されている。
\begin{align}
\lim_{n\to\infty}E[(X_n-X)^2]=0
\end{align}
何の分布について平均をとれば良いか分からない。
確率収束の定義の場合と同様、$X_n$と$X$が独立ならこの値がゼロに収束することはほとんどありえない。
より厳密な確率論では期待値が以下のように定義されることが分かった。正確な意味は分からない。
\begin{align}
E[X]&=\int_\Omega X(\omega)P(d\omega)
\end{align}
一方、$X$の累積分布関数を$F_X$とすると期待値は以下のように表現することができる。
\begin{align}
E[X]&=\int_{-\infty}^\infty xf_X(x)dx=\int_0^1 F_X^{-1}(s)ds\quad(s=F_X(x))
\end{align}
従って$\Omega=[0,1]$とすれば$X(s)=F_X^{-1}(s)(s\in\Omega)\ $となると考えて良さそうだ。
これから類推すると平均二乗収束の定義は以下のようになる。
\begin{align}
\lim_{n\to\infty}\int_0^1 (F_{X_n}^{-1}(s)-F_X^{-1}(s))^2ds=0
\end{align}
確率変数$X$が定数$C$の場合は以下のようになり、素朴な定義と一致する。
\begin{align}
\int_0^1 (F_{X_n}^{-1}(s)-C)^2ds&=\int_{-\infty}^\infty (y-C)^2 f_{X_n}(y)dy=0\quad(n\to\infty)
\end{align}
分布収束の定義
確率変数$X_n$が$X$に分布収束する条件は、$X$の累積分布関数$F_X$の全ての連続点$x$で以下が成り立つこと。
\begin{align}
\lim_{n\to\infty}F_{X_n}(x)&=F_X(x)
\end{align}
特に疑問はありません。
おわりに
- 確率変数の差$X_n-X$には異なる二つの解釈があり混乱の元である。
- 確率変数の裏に隠れている$\omega$の値が同じ場合と異なる場合がある。
- 累積分布関数から見ると、分布収束は縦軸方向の収束に対応し、確率収束は横軸方向の収束に対応している。
- 【注意事項】本メモの内容が本当に正しいかどうかは分かりません。