Juliaで学ぶ確率変数(1) - 確率変数の定義 - Qiita
【２変数の確率変数１】独立性 - Qiita
【２変数の確率変数２】平均と分散

確率変数の独立性の定義についてまとめます。
確率変数の独立性の定義は、事象の独立性の定義に由来していますので、以下の記事も参照してください。
【確率統計】事象の独立性 - Qiita

離散型確率変数や連続型確率変数の確率関数、確率密度関数については以下の過去記事にまとめてあります。
Juliaで学ぶ確率変数(1) - 確率変数の定義 - Qiita

#１．離散型確率変数の独立性

\begin{align}
\\
&X, Y: 離散型確率変数\\
\\
&２次元の確率変数(X,Y)の「同時確率関数」f_{XY}(i,j)を以下のように定義する。\\
&f_{XY}(i,j) = p( \{X=i\} \cap \{Y=j\} )\\
\\
\\
&以下が成り立つ場合に、確率変数XとYは独立であるという。\\
&f_{XY}(i,j) = f_X(i) f_Y(j) \qquad for \; all \; i,j\\
&i.e.\\
&p( \{X=i\} \cap \{Y=j\} ) = p(\{X=i\}) \; p(\{Y=j\}) \\
&これは事象AとBとの独立性の定義、P(A \cap B)=P(A) \; P(B)　からきています。\\
\\
\\
\\
&確率関数f_X(i)、f_Y(j)については、f_{XY}の定義より求めることができる。\\
&f_X(i) = p(\{X=i\}) = p\Bigl(\{X=i\} \cap (\cup_j \{Y=j \})\Bigr)\\
& = p\Bigl( \cup_j (\{X=i\} \cap \{Y=j\}) \Bigr) = \sum_j p\Bigl(\{X=i\} \cap \{Y=j\}\Bigr) = \sum_j f_{XY}(i,j)\\
&i.e.\\
&f_X(i) = \sum_j f_{XY}(i,j)\\
&f_Y(j) = \sum_i f_{XY}(i,j)\\
\\
&このような場合、この確率関数を「周辺確率関数」と呼びます。\\
&* 周辺確率変数の分布が一致するからと言って、元の2変数の確率分布が同じとは言えません。\\
&* 確率変数が独立であるとき、周辺確率変数の分布が一致すれば、\\
&元の2変数の確率分布が同じであることが言えます。\\
\\
\\
&任意の非負整数の集合 A に対して以下のように定義する。\\ 
& \{ X \in A \} \equiv \{\; \omega \in \Omega \; | \; X(\omega) \in A \;\}\\
\\
&この時、明らかに次が成り立つ\\
&\{ X \in A \}  = \bigcup_{i \in A} \{X=i\},\\
&p( X \in A ) = \sum_{i \in A} f_X(i)\\
\\
\\
&XとYが独立であれば以下が成り立つ。\\
&A, B を任意の２つの非負整数の集合とする\\
&p( \{X \in A\} \cap \{Y \in B\} ) = p(\{X \in A\}) \: p(\{Y \in B\} )\\
\\
\\
&証明\\
&p( \{X \in A\} \cap \{Y \in B\} ) = p \biggl( \bigcup_{(i,j) \in A \times B} \{X=i\} \cap \{Y=j\} \biggr) =\\
&\sum_{(i,j) \in A \times B} p( \{X=i\} \cap \{Y=j\} ) = \sum_{(i,j) \in A \times B} f_{XY}(i,j) = \sum_{(i,j) \in A \times B} f_X(i) f_Y(j) =\\
&\biggl( \sum_{i \in A} f_X(i)\biggr) \biggl( \sum_{j \in B} f_Y(j)\biggr) = p(X \in A) p(Y \in B) \qquad \qquad Q.E.D. \\
\\

\\

&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \qquad  \qquad \qquad \qquad \qquad  \qquad \qquad \qquad  \qquad  \qquad \qquad  \qquad \\
\end{align}

##２．連続型確率変数の独立性

\begin{align}
\\
&X, Y: 連続型確率変数\\
\\
&２次元の確率変数(X,Y)の「同時確率密度関数」f_{XY}(x,y)を以下ように定義する。\\
&p\{(X,Y) \in D\} = \int \int_D f_{XY}(x,y) \; dx \; dy\\
&ここで D は xy-平面内の任意の領域\\
\\
\\
&解析学における重積分と累次積分の関係より、以下が成り立ちます。\\
\\
&p\{(X,Y) \in R\} = \int \int_R f_{XY}(x,y) \; dx \; dy =\\
&\int_{-\infty}^\infty \biggl( \int_{-\infty}^\infty  f_{XY}(x,y) \; dx \biggr) dy =
\int_{-\infty}^\infty \biggl( \int_{-\infty}^\infty  f_{XY}(x,y) \; dy \biggr) dx =1\\
\\
\\
\\
&確率密度関数f_X(x)、f_Y(y)については、定義より以下のように表現できます。\\
&f_X(x) = \int_{-\infty}^\infty f_{XY}(x,y) \; dy\\
&f_Y(y) = \int_{-\infty}^\infty f_{XY}(x,y) \; dx\\
\\
&このような場合、この確率密度関数を「周辺確率密度関数」と呼びます。\\
\\
\\
&以下が成り立つ場合に、確率変数XとYは独立であるという。\\
&f_{XY}(x,y) = f_X(x) f_Y(y) \qquad for \; all \; x,y\\
\\
\\
&XとYが独立であれば以下が成り立つ。\\
&A, B を任意の２つの集合とする\\
&p( \{X \in A\} \cap \{Y \in B\} ) = p(\{X \in A\}) \: p(\{Y \in B\} )\\

&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \qquad  \qquad \qquad \qquad \qquad  \qquad \qquad \qquad  \qquad  \qquad  \qquad \\
\end{align}

##３．独立のまとめ

X,Yが独立であるとき、以下が成り立ちます。

\begin{align}
\\
& (1) \; E[XY] = E[X] \: E[Y]\\
\\
& (2) \; Cov[XY] = 0 \qquad （XとYは無相関）\\
&独立 \Longrightarrow 無相関、逆は成り立たない。（２次元正規分布の場合は逆も真）\\
\\
& (3) \; V[X+Y] = V[X] + V[Y]\\
\\
\\
&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \qquad  \qquad \qquad \qquad \qquad  \qquad \qquad \qquad  \qquad  \qquad  \qquad \\
\end{align}

今回は以上です。