分布収束の定義の同値性(Portmanteau Lemma)

はじめに

分布収束¹の定義にはいくつかのバリエーションがあります。この記事では統計学の分野でよく用いられる以下の定義（連続点での分布関数の収束）が他のいくつかの定義と同値であることの証明を述べます。特に多次元の場合の証明を読者に投げるという蛮行をせずにしっかり述べてみました。

定義（分布収束）
$(\Omega, \mathscr{F}, P)$ を確率空間とし、$\{ X_n \}_{n \in \mathbb{N}}$ を $\Omega$ 上の $d$ 次元確率ベクトル（$\Omega$ から $\mathbb{R}^d$ へのBorel可測写像）の列とする。このとき、$\{ X_n \}_{n \in \mathbb{N}}$ が確率ベクトル $X : \Omega \rightarrow \mathbb{R}^d$ に分布収束するとは、$X$ の分布関数
$$
F_X : \mathbb{R}^d \ni x = (x_1, \dots, x_d) \mapsto P(X \leq x) = P(\pi_1(X) \leq x_1, \dots, \pi_d(X) \leq x_d) \in \mathbb{R}
$$
の任意の連続点 $x \in \mathbb{R}^d$ に対して、
$$
\lim_{n \rightarrow \infty} F_{X_n}(x) = F_X(x)
$$
となることをいう。ここで $F_{X_n}$ は $X_n$ の分布関数であり、$\pi_j$ は $j$ 番目の要素を射影する写像である。

目標の定理

さて、この記事の目標は以下の定理です。連続点での収束による定義との同値性については、多次元の場合の証明に言及している和書はほとんどなく、言及があってもすぐには埋められないレベルの行間があったりします。

定理（Portmanteau Lemma²）
$(\Omega, \mathscr{F}, P)$ を確率空間とし、$\{ X_n \}_{n \in \mathbb{N}}, ~ X$ を $\Omega$ 上の確率ベクトルとするとき、以下の条件は同値。
(a): $\{ X_n \}_{n \in \mathbb{N}}$ は $X$ に分布収束する。
(b): 任意の有界連続関数 $f:\mathbb{R}^d \rightarrow \mathbb{R}$ に対して $\mathbb{E}[f(X_n)] \rightarrow \mathbb{E}[f(X)] ~~(n \rightarrow \infty)$
(c): $\mathbb{R}^d$ の任意の開集合 $U$ について、$\liminf_{n \rightarrow \infty} P(X_n \in U) \geq P(X \in U)$
(d): $\mathbb{R}^d$ の任意の閉集合 $F$ について、$\limsup_{n \rightarrow \infty} P(X_n \in F) \leq P(X \in F)$
(e): 任意のBorel可測集合 $E \in \mathscr{B}_{\mathbb{R}^d}$ について、$P(X \in \partial E) = 0$ ならば $\lim_{n \rightarrow \infty} P(X_n \in E) = P(X \in E)$

補題の準備

まず以下の補題を証明しておきましょう。この補題は(a)から(b)を導く際に使われます。

補題1
$m \in \mathbb{N}$ とする。$l_m=2^m$ とおき、$\{1, \dots, m \}$ から $\{1, 2\}$ への写像全体 $S_m$ を 辞書順に並べたものを$S_m = \{ \sigma_1^m, \dots, \sigma_{l_m}^m \}$ と表す。例えば、$m=2$ のとき
$$
\begin{align}
&\sigma_1^2(1) = 1, \sigma_1^2(2)=1, \\
&\sigma_2^2(1) = 1, \sigma_2^2(2)=2, \\
&\sigma_3^2(1) = 2, \sigma_3^2(2)=1, \\
&\sigma_4^2(1) = 2, \sigma_4^2(2)=2
\end{align}
$$
である。このとき、ある定数 $c_1, \dots, c_{l_m} \in \{-1, 1 \}$ が存在して、任意の実数 $a_j < b_j ~~(j=1, \dots, m)$ と 確率変数 $X_1, \dots, X_m$ および可測集合 $E \in \mathscr{F}$ について、$\xi_{j, 1} = a_j,~ \xi_{j, 2} = b_j$ とおくと、
$$
P\left( E \cap \bigcap_{j=1}^m (a_j < X_j \leq b_j) \right) = \sum_{j=1}^{l_m} c_j P \left(E \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^m(k)}) \right)
$$
となる。

証明
$m$ に関する帰納法で示します。$ m=1$のとき、$P$ は有限測度なので
$$
P(E \cap (a_1 < X_1 \leq b_1)) = P(E \cap (X \leq b)) - P(E \cap (X \leq a))
$$
となります。よって、$c_1 = -1, c_2 = 1$ とおけばよいです。次に $m$ で成立するとします。このとき、
$$
\begin{align}
P\left( E \cap \bigcap_{j=1}^{m+1} (a_j < X_j \leq b_j) \right)
&= P\left( (E \cap (a_{m+1} < X_{m+1} \leq b_{m+1})) \cap \bigcap_{j=1}^{m} (a_j < X_j \leq b_j) \right) \\
&= \sum_{j=1}^{l_m} c_j P \left((E \cap (a_{m+1} < X_{m+1} \leq b_{m+1})) \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^m(k)}) \right) \\
&= \sum_{j=1}^{l_m} c_j P \left( \left(E \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^m(k)}) \right) \cap (a_{m+1} < X_{m+1} \leq b_{m+1}) \right) \\
&= \sum_{j=1}^{l_m} c_j P \left( \left(E \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^m(k)}) \right) \cap (X_{m+1} \leq b_{m+1}) \right) \\
&\quad + \sum_{j=1}^{l_m} (-c_j) P \left( \left(E \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^m(k)}) \right) \cap (X_{m+1} \leq a_{m+1}) \right)
\end{align}
$$
となります。よって、$j = 1, \dots, 2^m$ に対しては $d_j = -c_j$ とおき、$j = 2^m +1, \dots, 2^{m+1}$ に対しては $d_j = c_j$ とおくことで、
$$
P\left( E \cap \bigcap_{j=1}^{m+1} (a_j < X_j \leq b_j) \right) = \sum_{j=1}^{l_{m+1}} d_j P \left(E \cap \bigcap_{k=1}^m (X_k \leq \xi_{k, \sigma_{j}^{m+1}(k)}) \right)
$$
となります。よって、$m+1$ でも成立します。

定理の証明

(b)⇒(d), (c)⇔(d), (d)⇒(e), (e)⇒(a), (a)⇒(b) の順で証明していきます。

(b)⇒(d) の証明

$F \neq \emptyset$ としてよいです。このとき、各自然数 $k$ に対して、$f_k:\mathbb{R}^d \rightarrow \mathbb{R}$ を
$$
f_k(x) := \frac{1}{(1 + d(x, F))^k}
$$
で定めます。ここで $d(x, F) = \inf \{ \| x - y \| \mid y \in F\}$ であり、これはリプシッツ連続なので $f_k$ は連続となります。また、$0 \leq f_k \leq 1$なので $f_k$ は有界です。さて、任意の $x$ について $\lim_k f_k(x) = \chi_F(x)$ となることを示しましょう。まず、$ x \in F$ のとき $d(x, F) = 0$ なので、任意の $k$ について $f_k(x) = 1$ となります。一方、$F$ は閉集合なので $x \in F^c$ のとき $d(x, F) > 0$ となります。したがって、$x \in F^c$ ならば $\lim_k f_k(x) = 0$ となります。よって、任意の$x$ について $\lim_k f_k(x) = \chi_F(x)$ となります。以上から、優収束定理（有界収束定理）により、
$$
\begin{align}
P(X \in F)
&= \int_{\mathbb{R}^d} \chi_F(x) dP^X(x) \\
&= \lim_{k \rightarrow \infty} \int_{\mathbb{R}^d} f_k(x) dP^X(x) \\
&= \lim_{k \rightarrow \infty} \mathbb{E}[f_k(X)] \\
&= \lim_{k \rightarrow \infty} \lim_{n \rightarrow \infty} \mathbb{E}[f_k(X_n)] \\
&\geq \limsup_{n \rightarrow \infty} P(X_n \in F)
\end{align}
$$
となるのでOKです。ただし、最後の不等式は $f_k \geq \chi_F$ によります。

(c)⇒(d) の証明

$F^c$ は開集合ゆえ、
$$
\begin{align}
1- P(X \in F)
&= P(X \in F^c) \\
&\leq \liminf_{n \rightarrow \infty} P(X_n \in F^c) \\
&= \liminf_{n \rightarrow \infty} (1 - P(X_n \in F)) \\
&= 1 + \liminf_{n \rightarrow \infty} (-P(X_n \in F)) \\
&= 1 - \limsup_{n \rightarrow \infty} P(X_n \in F)
\end{align}
$$
となるのでOKです。

(d)⇒(c) の証明

$U^c$ は閉集合ゆえ、
$$
\begin{align}
1- P(X \in U)
&= P(X \in U^c) \\
&\geq \limsup_{n \rightarrow \infty} P(X_n \in U^c) \\
&= \limsup_{n \rightarrow \infty} (1 - P(X_n \in U)) \\
&= 1 + \limsup_{n \rightarrow \infty} (-P(X_n \in U)) \\
&= 1 - \liminf_{n \rightarrow \infty} P(X_n \in F)
\end{align}
$$
となるのでOKです。

(d)⇒(e) の証明

(d)が成り立つとすると上で示したように(c)も成り立ちます。したがって、
$$
\begin{align}
&\liminf_{n \rightarrow \infty} P(X_n \in \mathrm{int}(E)) \geq P(X \in \mathrm{int}(E)), \\
&\limsup_{n \rightarrow \infty} P(X_n \in \mathrm{cl}(E)) \leq P(X \in \mathrm{cl}(E))
\end{align}
$$
となります。また、測度の単調性より $P(X \in \mathrm{int}(E)) \leq P(X \in E) \leq P(X \in \mathrm{cl}(E))$ で、
$$
P(X \in \mathrm{cl}(E)) - P(X \in \mathrm{int}(E)) = P(X \in \partial E) = 0
$$
ですので $P(X \in E) = P(X \in \mathrm{int}(E)) = P(X \in \mathrm{cl}(E))$ となります。そこで、再び測度の単調性より
$$
\begin{align}
P(X \in E)
&= P(X \in \mathrm{int}(E)) \\
&\leq \liminf_n P(X_n \in \mathrm{int}(E)) \\
&\leq \liminf_n P(X_n \in E) \\
&\leq \limsup_n P(X_n \in E) \\
&\leq \limsup_n P(X_n \in \mathrm{cl}(E)) \\
&\leq P(X \in \mathrm{cl}(E)) = P(X \in E)
\end{align}
$$
となるのでOKです。

(e)⇒(a) の証明

$x = (x_1, \dots, x_d) \in \mathbb{R}^d$ を $X$ の分布関数 $F_X$ の連続点とします。このとき、各 $ j = 1, \dots, d$ について
$$
F_j : \mathbb{R} \ni y_j \mapsto P( X \leq (x_1, \dots, y_j, \dots, x_d) ) \in \mathbb{R}
$$
とおくと、$F_j$ は $x_j$ で連続です。いま、$\{ z_k \}_{k \in \mathbb{N}} \subset \mathbb{R}$ を $z_k \nearrow x_j$ かつ $z_k \neq x_j ~ (\forall k)$ なる点列とします。すると、
$$
\begin{align}
&\bigcup_{k = 1}^\infty (\infty, x_1] \times \cdots \times (-\infty, z_k] \times \cdots \times (-\infty, x_d] \\
&= (\infty, x_1] \times \cdots \times (-\infty, x_j] \times \cdots \times (-\infty, x_d] \setminus (\infty, x_1] \times \cdots \times \{ x_j \} \times \cdots \times (-\infty, x_d]
\end{align}
$$
となり、$(-\infty, z_k] \subset (-\infty, z_{k+1}) ~ (\forall k)$ であるので、測度の連続性と $F_j$ の $x_j$ での連続性より
$$
F_j(x_j) = \lim_k F_j(z_k) = F_j(x_j) - P\left((\infty, x_1] \times \cdots \times \{ x_j \} \times \cdots \times (-\infty, x_d]\right)
$$
となります。よって、各 $j$ について
$$
P\left( \left( \prod_{j=1}^d (\infty, x_j] \right) \cap \pi_j^{-1}(\{ x_j \}) \right)
= P\left((\infty, x_1] \times \cdots \times \{ x_j \} \times \cdots \times (-\infty, x_d]\right) = 0
$$
となります（ここで $\pi_j$ は $j$ 番目の要素を射影する写像）。いま、$E = \prod_{j=1}^d (\infty, x_j]$ とおくと、
$$
\partial E = \bigcup_{j = 1}^d E \cap \pi_j^{-1}(\{ x_j \})
$$
となるので、
$$
P(\partial E) \leq \sum_{j=1}^d P\left( (-\infty, x_1] \times \cdots \times \{ x_j \} \times \cdots \times (-\infty, x_d] \right) = 0
$$
となり、$P(\partial E) = 0$ を得ます。よって、仮定より、
$$
\lim_{n \rightarrow \infty} F_{X_n}(x) = \lim_{n \rightarrow \infty} P(X_n \in E) = P(X \in E) = F_X(x)
$$
となりOKです。

(a)⇒(b) の証明

$f: \mathbb{R}^d \rightarrow \mathbb{R}$ を有界連続関数とします。任意に $\varepsilon > 0$ をとり、$P(X \notin I) < \varepsilon$ なるコンパクトな矩形 $I = I_1 \times \cdots \times I_d ~( I_j = [a_j, b_j])$ をとります。ただし、各 $j$ について、
$$
P(X \in \pi_j^{-1}( \{a_j, b_j\} )) = 0
$$
となるようにとります（このような点は $\mathbb{R}$ に稠密に存在するので可能³）。ここで、$\pi_j$ は $j$ 番目の要素を射影する写像です。
さて、コンパクト集合上の連続関数は一様連続なので、$I$ 上で $f$ は一様連続です。したがって、$\delta > 0$ があって、
$$
\forall x, y \in I , \| x-y \| < \delta \Rightarrow |f(x) - f(y)| < \varepsilon
$$
となります。いま、$1/N < \delta / (2\sqrt{d})$ なる 自然数$N$ をとり、矩形 $I$ の各辺 $I_j$を $N$ 等分します。そして、その各小区間から分割点 $\xi_k^{(j)} ~ (k = 1, \dots, N)$ を以下を満たすようにとります（このような点は $\mathbb{R}$ に稠密に存在するので可能³）。
$$
P(X \in \pi_j^{-1}(\{ \xi_k^{(j)} \})) = 0
$$
また、$\xi_0^{(j)} = a_j,~ \xi_{N+1}^{(j)} = b_j$ とおきます。このとき、$\xi_{k_1, \dots, k_d} = (\xi_{k_1}^{(1)}, \dots, \xi_{k_d}^{(d)}) ~ (k_1,\dots,k_d \in \{ 0, \dots, N+1 \})$ とおくと、その取り方から $\xi_{k_1, \dots, k_d}$ は $F_X$ の連続点となります³。そこで、$k_1,\dots,k_d \in \{ 0, \dots, N \}$ に対して、
$$
I_{k_1, \dots, k_d} = (\xi_{k_1}^{(1)}, \xi_{k_1 + 1}^{(1)}] \times \cdots \times (\xi_{k_d}^{(d)}, \xi_{k_d + 1}^{(d)}]
$$
とおき、
$$
g = \sum_{k_1,\dots,k_d = 1}^N f(\xi_{k_1, \dots, k_d}) \chi_{I_{k_1, \dots, k_d}}
$$
とおきましょう。そして、
$$
I' = I \setminus \bigcup_{j=1}^d \pi_j^{-1}(\{a_j\}) = \prod_{j=1}^d (a_j, b_j]
$$
とおくと、$I'$ 上で $ |f - g| < \varepsilon$ となるので、
$$
\begin{align}
| \mathbb{E}[f(X_n)] - \mathbb{E}[g(X_n)] |
&\leq \mathbb{E}[|f(X_n) - g(X_n)|] \\
&\leq \mathbb{E}[|f(X_n) - g(X_n)| \chi_{(X_n \in I')}] + \mathbb{E}[|f(X_n) - g(X_n)| \chi_{(X_n \notin I')}] \\
&\leq \varepsilon + 2\|f \|_{\max} P(X_n \notin I')
\end{align}
$$
となります。同様に
$$
| \mathbb{E}[f(X)] - \mathbb{E}[g(X)] |
\leq \varepsilon + 2\|f \|_{\max} P(X \notin I')
\leq \varepsilon + 2 \|f \|_{\max} \varepsilon = (1 + 2 \|f \|_{\max}) \varepsilon
$$
となります（$P(X \in I) = P(X \in I')$ に注意）。また、
$$
\begin{align}
&| \mathbb{E}[g(X_n)] - \mathbb{E}[g(X)] | \\
&\leq \sum_{k_1,\dots,k_d = 1}^N | P(X_n \in I_{k_1, \dots, k_d}) - P(X \in I_{k_1, \dots, k_d}) | |f(\xi_{k_1, \dots, k_d})| \\
&\rightarrow 0 \quad (n \rightarrow \infty)
\end{align}
$$
となります。実際、補題1より
$$
\begin{align}
P(X_n \in I_{k_1, \dots, k_d})
&= P \left( \bigcap_{j=1}^d ( \xi_{k_j}^{(j)} < \pi_j(X_n) \leq \xi_{k_j + 1}^{(j)} )\right) \\
&= \sum_{\iota} P(X_n \leq \xi_{\iota}) \\
&\rightarrow \sum_{\iota} P(X \leq \xi_{\iota}) = P(X \in I_{k_1, \dots, k_d})) \quad (n \rightarrow \infty)
\end{align}
$$
となるためです。ここで、$X_n$ が $X$ に分布収束しているという仮定と $\xi_{\iota}$ が $F_X$ の連続点であることを使いました。なお、総和中の $\iota$ は $\{ 0, \dots, N+1 \}^d$ の元であり、和を取る範囲は明示していませんが適当に制限されていると解釈してください（上のような和として表せられることを補題1が保証しています）。同様に $P(X_n \notin I') \rightarrow P(X \notin I')$ となります。以上から、
$$
\begin{align}
|\mathbb{E}[f((X_n)] - \mathbb{E}[f(X)] |
&\leq |\mathbb{E}[f((X_n)] - \mathbb{E}[g(X_n)] | + |\mathbb{E}[g((X_n)] - \mathbb{E}[g(X)] | \\
&\quad + |\mathbb{E}[g((X)] - \mathbb{E}[f(X)] | \\
&\leq \varepsilon + 2\|f \|_{\max} P(X_n \notin I') + (1 + 2 \|f \|_{\max}) \varepsilon \\
&\quad + |\mathbb{E}[g((X_n)] - \mathbb{E}[g(X)] |
\end{align}
$$
となり、

$$
\limsup_{n \rightarrow \infty} |\mathbb{E}[f((X_n)] - \mathbb{E}[f(X)] | \leq 2 (1 + 2 \|f \|_{\max}) \varepsilon
$$
となります。$\varepsilon > 0$ は任意だったので、これは $\mathbb{E}[f((X_n)] \rightarrow \mathbb{E}[f((X)] ~~ (n \rightarrow \infty)$ を意味し、証明が完了しました。

1. 法則収束、あるいは漠収束、弱収束とよばれることもあります。 ↩

2. Portmanteau は「かばん語」または「混成語」という意味で人名ではなさそうですが、math stackexchangeでの議論を見ると、ひとつの表現が複数の意味を内包する（かばんに詰められている）イメージでこの名がついているようです。しかし、この表現の初出は故人である Billingsley の著作らしく、本人に聞かないと本当のところはわからないため真相は闇の中...。 ↩

3. 詳しくは 多次元の分布関数の不連続点は高々可算 に記述しましたので参考にしてください。 ↩ ↩² ↩³