測度論的確率論の勉強のために確率空間についてまとめてみました。

\newcommand{\R}{\mathbb{R}}
\newcommand{\Rd}{{\mathbb{R}^d}}
\newcommand{\borel}[1]{{\mathcal{B}(\mathbb{R}^{#1})}}

確率空間

以下に述べる、

位相空間$(\Omega,\mathcal{O})$（$\mathcal{O}$はしばしば省略する)
σ加法族$\mathcal{F}$
確率測度$p$

のセット$(\Omega,\mathcal{F},p)$を確率空間と言います。

位相空間については次の記事を参考にしてください。

測度とσ加法族

例えば$1\sim3$の番号のくじを１枚引くとき、

I \subset \Omega=\{1,2,3\}

のいずれかを引く事象の確率$p(I)$はそれぞれ

\begin{align}
p(\varnothing ) &= 0 \\
p(\{1\}) &= p(\{2\}) =  p(\{3\}) = \frac{1}{3} \\
p(\{1,2\}) &= p(\{2,3\}) = p(\{3,1\}) = \frac{2}{3} \\
p(\{1,2,3\}) &= 1
\end{align}

と書けます。つまり、確率とは部分集合$I\subset \Omega$から$[0,1]$への写像であると言えます。この事象全体の集合族に相当するのがσ加法族$\mathcal{F}$、確率に相当するのが確率測度$p$です。これらは事象と確率が満たすべき条件をクリアした写像として定義されています。

σ加法族

以下の３つを満たします。

$\Omega \in \mathcal{F}$
$E \in \mathcal{F} \Rightarrow E^c \in \mathcal{F}$
可算無限個の$E_1,E_2,\cdots \in \mathcal{F}$に対して、$\bigcup_iE_i \in \mathcal{F}$

２つ目と３つ目はつまり、事象$E$が起こるケースと起きないらケースが両方ある、$E_1$と$E_2$がそれぞれ起きうるならば、$E_1$または$E_2$が起こるケースもあるということを言っています。

確率測度

以下の2つを満たす集合関数$p:\mathcal{F}\rightarrow [0,1]$です。

$p(\Omega)=1$
可算無限個の$E_1,E_2,\cdots \in \mathcal{F}$に対して、$\forall i,j$, $E_i\cap E_j = \varnothing$であるとき、$p(\bigcup_i E_i) = \sum_i p(E_i)$

完備な確率測度と可測集合

任意の$E \in \mathcal{F}$ s.t. $p(E)=0$に対して、

E' \subset E \rightarrow E' \in \mathcal{F}

であるとき、$p$は完備であると言います。
たとえ完備でなくても、

\begin{align}
\mathcal{F}' &= \left\{ A \subset \Omega \mid \exists E_1,E_2 \in \mathcal{F} : E_1 \subset A \subset E_2 \& p(E_2 \backslash E_1)=0 \right\} \\
\tilde{\mathcal{F}} &= \mathcal{F} \cup \mathcal{F}' \\
\end{align}

とすれば測度が定義される集合族が、$\mathcal{F}$から$\tilde{\mathcal{F}}$まで広がります。そして、$A \in \mathcal{F}'$に対して、条件を満たす$E_1,E_2$を使って、

\tilde{p}(A) = p(E_1)=p(E_2)

とすれば、$\tilde{p}$は完備な確率測度になります。これをルベーグ拡大と言います。また、$\tilde{\mathcal{F}}$を可測集合族と言います。ルベーグ拡大によって、元のσ加法族に含まれないような集合の極限などにも対応できます。

コメント

σ加法族さえ定義してしまえば、いかなる確率測度においても完備化によって$(\Omega,\mathcal{F})$上の可測集合族を構成できます。よって$(\Omega,\mathcal{F})$を可測空間と言います。

ボレル集合族

任意の部分集合族$\mathcal{A}$に対して、σ加法族$\mathcal{F}$で$\mathcal{A} \subset \mathcal{F}$を満たす最小のものを

\sigma(\mathcal{A}) = \bigcup_{\substack{\mathcal{A} \subset \mathcal{F},\\ \mathcal{F}\text{はσ加法族}}} \mathcal{F}

としたとき、$\mathcal{B}(\Omega) = \sigma(\mathcal{O})$をボレル集合族と言います。

一意性

$\mathcal{O} \subset \mathcal{F}_1,\mathcal{F}_2$となる確率空間$(\Omega,\mathcal{F}_1,p_1)$、$(\Omega,\mathcal{F}_2,p_2)$に対して、

\forall O \in \mathcal{O}: p_1(O)=p_2(O) \Rightarrow \forall B \in \mathcal{B}(\Omega): p_1(B)=p_2(B)

が成り立ちます。(証明は省略。)
よって、ルベーグ拡大すると$\tilde{\mathcal{F}}_1 = \tilde{\mathcal{F}}_2=\tilde{\mathcal{B}}(\Omega)$となるので、$p_1=p_2$であると言えます。そしてボレル集合族上に定義した測度に一致します。

ゼロ集合

確率空間$(\Omega,\mathcal{F},p)$において

\mathcal{N}^p = \left\{ E \in \tilde{\mathcal{F}}\backslash\{\varnothing \} \mid p(E) = 0 \right\}

をゼロ集合族と言い、$N \in \mathcal{N}^p$をゼロ集合と言います。

絶対連続性

可測空間$(\Omega,\mathcal{F})$上に２つの確率測度$p_1,p_2$が定義されているとします。このとき、

\mathcal{N}^{p_1} \subset \mathcal{N}^{p_2}

であること、つまり、

\forall E \in \tilde{\mathcal{F}}: p_2(E)=0 \Rightarrow p_1(E)

であることを$p_1$は$p_2$のもとで絶対連続であると言い、

p_1 \ll p_2

と表します。

例1

先程のくじの例だと部分集合

\mathcal{F} = \{ \varnothing, \{1\}, \{2\}, \{3\}, \{1,2\}, \{2,3\}, \{3,1\}, \{1,2,3\} \}

がそのままσ加法族になっていて、先の確率一覧が確率測度になっています。

例２：ルベーグ測度

有名な例としてルベーグ測度も紹介します。これは

p(\Omega) = \infty

なので、確率測度ではない測度です。

詳細は省きますが、$\Omega=\mathbb{R}^n$の場合、

\begin{align}
\mathcal{S} &= \{ (a_i,b_i]^n \mid -\infty \leq a_i \leq b_i \leq \infty\} \\
\mathcal{B}(\mathbb{R}^n) &= \sigma(\mathcal{S})
\end{align}

となります。

\mu((a_i,b_i]^n) = \prod_{i=1}^n (b_i-a_i)

となるように測度$\mu$を定義すると、σ加法族と測度の性質から

\mu((a_i,b_i)^n) = \mu([a_i,b_i]^n) = \mu([a_i,b_i)^n) = \mu((a_i,b_i]^n)

です。これを使って積分を定義するとリーマン積分可能な関数についてはリーマン積分と一致することが知られています。

例３：コルモゴロフのσ加法族

広義一様収束位相を定めた写像空間

W^d = C^0([0,t],\Rd)

上のボレル集合族を

\mathcal{W}^d = \mathcal{B}(W^d)

とします。この辺の話は次の記事を参考にしてください。

これは確率過程を議論する際に使います。

柱状集合

$E_n \in \borel{n\times d}$に対して

C(t_1,\cdots,t_n;E_n) = \{ w(t) \in W^d \mid (w(t_1),\cdots,w(t_n)) \in E_n \}

を$n$次元の柱状集合と言います。

コルモゴロフのσ加法族

$n$次元の柱状集合全体の集合を

\mathcal{C}_n = \{ C(t_1,\cdots,t_n;E_n) \mid 0 \leq t_1 < \cdots < t_n \leq t, E_n \in \borel{n\times d} \}

としたとき、

\mathcal{B}_K(W^d) = \sigma\left[ \bigcup_{n \in \mathbb{N}} \mathcal{C}_n \right]

をコルモゴロフのσ加法族と言い、

\mathcal{W}^d = \mathcal{B}_K(W^d)

となることが知られています。

例４：正規分布

$\Omega=\mathbb{R}$のとき、同様に$\mathcal{S}$からσ加法族が構成できて、

F(x) = \frac{1}{\sqrt{2\pi \sigma}}\int_{-\infty}^x dx' e^{-(x'-\mu)^2/2\sigma^2}

として、

p((a,b]) = F(b) - F(a)

となるように定義します。(σ加法族の他の集合に対する値は測度の満たすルールから分かります。)

分布関数

先の正規分布のように、関数$F:\mathbb{R} \rightarrow \mathbb{R}$が

単調：$x \leq y \Rightarrow F(x) \leq F(y)$
右連続：$F(x) \xrightarrow{x\rightarrow a+}F(a)$
$F(x)\xrightarrow{x\rightarrow -\infty} 0$
$F(x)\xrightarrow{x\rightarrow \infty}1$

を満たすとき、$F$を分布関数と呼びます。分布関数を用いて実数体$\mathbb{R}$上に

p((a,b]) = F(b) - F(a)

となるように確率測度を定義することができて、これをルベーグ・スチルチェス測度と言います。逆に分布関数は

F(x) = p((-\infty,x])

と表すことができます。

ルベーグ・スチルチェス測度と分布関数は1-1対応しています。

確率密度関数

ルベーグ測度$\mu$とルベーグ・スチルチェス測度$p$に対して$p \ll \mu$であるとき、分布関数$F$は絶対連続であると言い、

F(x) = \int_{-\infty}^{x} f(x') dx'

を満たす関数$f(x)$が存在します。(逆も成り立ちます。)この$f$を確率密度関数と言います。
正規分布だと

f(x) = \frac{1}{\sqrt{2\pi \sigma}} e^{-(x-\mu)^2/2\sigma^2}

が確率密度関数です。
このとき、$E \in \mathcal{B}(\mathbb{R})$に対して、確率測度は

p(E) = \int_E dx f(x)

と表されます。

ルベーグの分解

一般に分布関数$F$(=ルベーグ・スチルチェス測度$p$)は可算個の不連続点を持ちます。$p$の不連続点の集合を

D_p = \{a_1,a_2,\cdots \}

として、不連続点に対して離散的な確率測度$p_D$を定義します。これを準不連続分布と言います。

また、連続点であっても絶対連続でない場合：

\exists E \in \mathcal{B}(\mathbb{R}): \mu(E)=0, p(E) \neq 0

があります。このような確率測度は特異分布と言います。

任意の確率測度$p$は純不連続分布、絶対連続分布、特異分布の３種類を可算個集めた列$(p_i)$を用いて、

\begin{align}
p &= \sum_i c_i p_i \\
c_i &\geq 0 \\
\sum_i c_i &= 1
\end{align}

と表すことができます。

σ加法族の独立性

確率空間$(\Omega,\mathcal{F},p)$内の部分σ加法族の列

\{\mathcal{F}_\lambda\}_{\lambda \in \Lambda} \\
\forall \lambda \in \Lambda: \mathcal{F}_\lambda \subset \mathcal{F}

が独立であるとは、$\Lambda$の任意の有限部分集合をとってきて、

\forall \{\lambda_1, \cdots, \lambda_n\}: \forall E_1 \in \mathcal{F}_1, \cdots, E_n \in \mathcal{F}_n: p\left(\bigcap_{i=1}^n E_i \right) = \prod_{i=1}^n p(E_i)

となることです。　　

多次元の場合

直積集合

集合$X,Y$に対して

X \times Y = \{ (x,y) \mid x \in X, y \in Y \}

を直積集合と言います。

積測度

２つの確率空間$(\Omega_1,\mathcal{F}_1,p_1)$、$(\Omega_2,\mathcal{F}_2,p_2)$
に対して

\mathcal{F}_1 \otimes \mathcal{F}_2 = \sigma(\{ E_1 \times E_2 \mid E_1 \in \mathcal{F}_1, E_2 \in \mathcal{F}_2 \})

は$\Omega_1 \times \Omega_2$のσ加法族になります。このとき、自然な確率測度として

(p_1\times p_2)(E_1\times E_2) = p_1(E_1)p_2(E_2)

を導入できます。

積測度の完備化

直積確率空間の完備化については以下が成り立ちます。

\widetilde{\mathcal{F}_1 \otimes \mathcal{F}_2} = \widetilde{\tilde{\mathcal{F}}_1 \otimes \tilde{\mathcal{F}}_2}

よって、ルベーグ拡大したものの直積をとってもそれ自体は完備でないため注意が必要です。

注意

距離空間の完備化とは違う意味なので注意してください。基本的に測度の話で完備化と言えばこちらの意味です。

同時分布関数

$(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n),p)$に対しても同様に分布関数

F(x_1,x_2,\cdots,x_n) = p((-\infty,x_1],(-\infty,x_2],\cdots,(-\infty,x_n])

が存在して、確率測度$p$と１－１対応しています。

このとき、確率測度(ルベーグ・スチルチェス測度)は同時分布関数を使って

p((x_1^0,x_1^1],(x_2^0,x_2^1],\cdots,(x_1^0,x_1^1]) = \sum_{(j_1,j_2,\cdots,j_n) \in \{0,1\}^n} (-1)^{\sum_p j_p} F(x_1^{j_1},x_2^{j_2},\cdots,x_n^{j_n})

と表されます。

参考資料

伊藤清「確率論」岩波書店