Introduction : 「独立」と「互いに独立」
事象$A_1,\cdots,A_n$が独立(mutually independent)であるとは、積事象$A_1\cap\cdots\cap A_n$の確率が各事象の確率の積で計算できること :
\begin{eqnarray*}
\mathbb{P}[A_1\cap\cdots\cap A_n] &=& \mathbb{P}[A_1]\times\cdots\times\mathbb{P}[A_n]
\end{eqnarray*}
だと定義されます。特に確率変数$X_1,\cdots,X_n$が独立であるとは、どんな実数$x_1,\cdots,x_n$に対しても、事象$X_1\leq x_1,\cdots,X_n\leq x_n$が独立になることです。
一方で、事象$A_1,\cdots,A_n$が互いに独立(pairwise independent)であるとは、どの事象のペアも必ず独立であることを言います。要するに、2つの事象$A_i,A_j$, ($i\neq j$)は選び方によらず独立です。確率変数$X_1,\cdots,X_n$の「互いに独立」も同様に定義されます。
1. 問題
独立の定義から、「互いに独立」と「独立」の間の関係について、以下の命題を難しくなく確認することが出来ます。
命題 : 確率変数$X_1,\cdots,X_n$が独立なら、特に互いに独立である。
証明 : $X_1,\cdots,X_n$が独立ならば、$X_1,\cdots,X_{n-1}$が独立であることを示せば十分です。それぞれの累積分布関数を$F_{X_1,\cdots,X_n}(x_1,\cdots,x_n)$, $F_{X_1,\cdots,X_{n-1}}(x_1,\cdots,x_{n-1})$、各確率変数$X_i$の累積分布関数を$F_{X_i}(x_i)$と書くことにします。このとき、
\begin{eqnarray*}
F_{X_1,\cdots,X_{n-1}}(x_1,\cdots,x_{n-1}) &=&\lim_{x_n\rightarrow\infty}F_{X_1,\cdots,X_n}(x_1,\cdots,x_n) \\
&=& \lim_{x_n\rightarrow\infty}\left(F_{X_1}(x_1)\times\cdots\times F_{X_n}(x_n)\right)\\
&=& F_{X_1}(x_1)\times\cdots\times F_{X_{n-1}}(x_{n-1})\times \lim_{x_n\rightarrow\infty}F_{X_n}(x_n)\\
&=& F_{X_1}(x_1)\times\cdots\times F_{X_{n-1}}(x_{n-1})
\end{eqnarray*}
が成り立つので、$X_1,\cdots,X_n$が独立ならば、$X_1,\cdots,X_{n-1}$が独立であることがわかります。■
今回はこの命題の逆が成り立つかを考えてみましょう。
問題 : $n$は$3$以上の整数とします。確率変数$X_1,\cdots,X_n$が互いに独立ならば、特に独立になるか？
2. 解答
結論から言うと成り立ちません。次のような反例を構成することが出来ます。
反例 : $x,y,z=0,1$のいずれかの値をとる確率変数$X, Y, Z$の同時確率質量関数を次のように定義します。
| X | Y | Z | 確率 |
|---|---|---|---|
| 1 | 1 | 0 | 1/4 |
| 1 | 0 | 1 | 1/4 |
| 0 | 1 | 1 | 1/4 |
| 0 | 0 | 0 | 1/4 |
このとき、$\mathbb{P}[X=1]=\mathbb{P}[Y=1]=\mathbb{P}[Z=1]=1/2$であることに注意すれば、$X,Y,Z$が互いに独立であることを確認できますが、
- $\mathbb{P}[(X,Y,Z)=(1,1,1)]=0$
- $\mathbb{P}[X=1]\mathbb{P}[Y=1]\mathbb{P}[Z=1]=1/8$
が成り立つので独立ではありません。
3. 考察
$x,y,z=0,1$のいずれかの値をとる確率変数$X,Y,Z$の同時分布に対して、互いに独立な場合と独立な場合の同時確率質量関数の自由度の違いを比較しておきましょう。独立な場合、同時確率質量関数は3つのパラメータ$t_1=\mathbb{P}[X_1=1],t_2=\mathbb{P}[X_2=1],t_3=\mathbb{P}[X_3=1]$を用いて、次の形で尽くされます。
| X | Y | Z | 確率 |
|---|---|---|---|
| 1 | 1 | 1 | $t_1t_2t_3$ |
| 1 | 1 | 0 | $t_1t_2(1-t_3)$ |
| 1 | 0 | 1 | $t_1(1-t_2)t_3$ |
| 1 | 0 | 0 | $t_1(1-t_2)(1-t_3)$ |
| 0 | 1 | 1 | $(1-t_1)t_2t_3$ |
| 0 | 1 | 0 | $(1-t_1)t_2(1-t_3)$ |
| 0 | 0 | 1 | $(1-t_1)(1-t_2)t_3$ |
| 0 | 0 | 0 | $(1-t_1)(1-t_2)(1-t_3)$ |
一方で、互いに独立の場合は4つのパラメータ$t_1=\mathbb{P}[X_1=1],t_2=\mathbb{P}[X_2=1],t_3=\mathbb{P}[X_3=1],t_{111}=\mathbb{P}[(X,Y,Z)=(1,1,1)]$を用いて、次の形で尽くされます。
| X | Y | Z | 確率 |
|---|---|---|---|
| 1 | 1 | 1 | $t_{111}$ |
| 1 | 1 | 0 | $t_1t_2-t_{111}$ |
| 1 | 0 | 1 | $t_1t_3-t_{111}$ |
| 1 | 0 | 0 | $t_1(1-t_2-t_3)+t_{111}$ |
| 0 | 1 | 1 | $t_2t_3-t_{111}$ |
| 0 | 1 | 0 | $t_2(1-t_3-t_1)+t_{111}$ |
| 0 | 0 | 1 | $t_3(1-t_1-t_2)+t_{111}$ |
| 0 | 0 | 0 | $1-(t_1+t_2+t_3)+(t_1t_2+t_2t_3+t_3t_1)-t_{111}$ |
要するに、互いに独立な同時分布のパラメータ空間は4次元あり、このうち$t_{111}=t_{1}t_{2}t_{3}$をみたす3次元の部分空間が特に独立な同時分布になっています。なお、2で挙げた例は$t_{1}=\frac{1}{2}$, $t_{2}=\frac{1}{2}$, $t_{3}=\frac{1}{2}$, $t_{111}=0$に対応するわけです。
Acknowledgement
忙しいなか3日連続で更新できたのは、みなさんが前の記事をリツイートしてくれたり、伊集院先生から激励してもらえたおかげです。みなさまに感謝を申し上げます。またご質問を頂いたすうがくぶんかの生徒さんに感謝申し上げます。また、Norihito Ishidaさんに2.解答の反例にある同時確率質量関数に間違いがある旨をご指摘いただきました（2/5修正済み）。ありがとうございます。