Juliaで学ぶ確率変数(1) - 確率変数の定義 - Qiita
【２変数の確率変数１】独立性 - Qiita
【２変数の確率変数２】平均と分散

確率変数の平均と分散についてまとめます。

#１．２変数の確率変数の平均と分散の定義

\begin{align}
\\
&[離散型]\\
\\
&２次元の確率変数(X,Y)の同時確率分布が、f_{XY}(x_i,y_j)とする。\\
\\
&周辺確率分布\\
&p(X=x_i) = \sum_j f_{XY}(x_i,y_j)\\
&p(Y=y_j) = \sum_i f_{XY}(x_i,y_j)\\
\\
&平均\\
&E[X] = \sum_i x_i \; p(X=x_i)\\
&E[Y] = \sum_j y_j \; p(Y=y_j)\\
&g(x,y)なる関数を考えると、\\
&E[g(X,Y)] = \sum_{i,j} g(x_i,y_j) \: f_{XY}(x_i,y_j)\\
\\
&分散\\
&V[X] = E[(X-E[X])^2]\\
&V[Y] = E[(Y-E[Y])^2]\\
\\
\\
\\
&[連続型]\\
\\
&X,Yの同時確率密度関数f_{XY}(x,y)を以下のように定義する。\\
&p(a \leqq X \leqq b, \; c \leqq Y \leqq d) = \int_a^b \int_c^d f_{XY}(x,y) \; dx \: dy\\
\\
\\
&X,Yの周辺確率密度関数\\
&f_X(x) = \int_{-\infty}^\infty f_{XY}(x,y) \; dy\\
&f_Y(y) = \int_{-\infty}^\infty f_{XY}(x,y) \; dx\\
\\
\\
\\
&平均の定義\\
&E[X] = \int_{-\infty}^{\infty} xf_X(x) dx = \int_{-\infty}^{\infty} x \int_{-\infty}^{\infty} f_{XY}(x,y) dy \: dx\\
&E[Y] = \int_{-\infty}^{\infty} yf_Y(y) dy = \int_{-\infty}^{\infty} y \int_{-\infty}^{\infty} f_{XY}(x,y) dx \: dy\\
&g(x,y)なる関数を考えると、\\
&E[g(X,Y)] = \int_{-\infty}^\infty \int_{-\infty}^\infty g(x,y) \: f_{XY}(x,y) \; dx \: dy\\
\\
\\
&分散\\
&V[X] = E[(X-E[X])^2] = \int_{-\infty}^{\infty} (x - E[X])^2 f_X(x) \: dx\\
&V[Y] = E[(Y-E[Y])^2] = \int_{-\infty}^{\infty} (y - E[Y])^2 f_Y(y) \: dy\\
\\
\\
\\
&[離散型＆連続型]\\
\\
&共分散の定義\\
&Cov[X,Y] = E[(X-\mu_X)(Y-\mu_Y)] = E[XY] -E[X] \: E[Y]\\
\\
&特にX=Yの場合は以下のようになる。\\
&Cov[X,X] = V[X]\\
\\
\\
&相関係数の定義\\
&\rho[X,Y] = \frac {Cov[X,Y]}{\sqrt{V[X] \; V[Y]}}\\
\\
&以下が成り立つ時に、XとYは無相関であるという。\\
&\rho[X,Y]=0 \Longleftrightarrow Cov[X,Y]=0 \\
\\
\\
&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \qquad  \qquad \qquad \qquad \qquad  \qquad \qquad \qquad \qquad \qquad  \qquad\\
\end{align}

#２．平均の性質

\begin{align}
\\
&[E1] \; 任意の確率変数Xと実数a,bに対して、\\
& E[aX+b] = aE[X] +b\\
\\
&[E2] \; 任意の確率変数X,Yに対して、\\
& E[X+Y] = E[X]+E[Y]\\
\\
&[E3] \; 確率変数X,Yが独立であれば、\\
&E[X\:Y]= E[X] \: E[Y]\\ 
\\
\\
\\
&[E3] の証明（連続型）\\
\\
&独立の仮定に加えて、以下の解析学における重積分と累次積分の関係を使います。\\
&R=[a_1,a_2] \times [b_1,b_2]上でf(x,y)は積分可能な時、\\
&\int \int_R f(x,y) dx dy =
\int_{b_1}^{b_2} dy \int_{a_1}^{a_2} f(x,y) dx =
\int_{a_1}^{a_2} dx \int_{b_1}^{b_2} f(x,y) dy
\\
\\
\\
&E[XY] = \int_{-\infty}^\infty \int_{-\infty}^\infty  xy f_{XY}(x,y) dx dy=
\int_{-\infty}^\infty \int_{-\infty}^\infty  xy f_X(x) f_Y(y) dx dy=\\

&\int_{-\infty}^\infty \int_{-\infty}^\infty  (xf_X(x))  (yf_Y(y)) dx dy=
\int_{-\infty}^\infty dy \int_{-\infty}^\infty  (xf_X(x))  (yf_Y(y)) dx =\\

&\int_{-\infty}^\infty \biggl( \int_{-\infty}^\infty  (xf_X(x))  (yf_Y(y)) dx \biggr) dy=
\int_{-\infty}^\infty \biggl( (yf_Y(y)) \int_{-\infty}^\infty  (xf_X(x))  dx \biggr) dy =\\

&\int_{-\infty}^\infty \biggl( (yf_Y(y)) \biggr) \biggl( \int_{-\infty}^\infty  (xf_X(x))  dx \biggr) dy =
\biggl(\int_{-\infty}^\infty  (xf_X(x))  dx \biggr)  \biggl(\int_{-\infty}^\infty  (yf_Y(y)) dy \biggr) =\\
&E[X]E[y]\\


&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \qquad  \qquad \qquad \qquad \qquad  \qquad\\
\end{align}

#３．分散の性質

確率が平均の近くに集中していれば分散は小さくなり、確率が平均から離れたところにあれば分散は大きくなる。

\begin{align}
\\
&[V1] \; 任意の確率変数Xに対して、\\
&V[X] \geqq 0\\
\\
&[V2] \; 任意の確率変数Xに対して、\\
&V[X] = E[X^2] - (E[X])^2\\
\\
&[V3] \; 任意の確率変数Xと、任意の実数a,bに対して、\\
&V[aX+b] = a^2 V[X]\\
\\
&[V4] \; ２確率変数X,Yに対して、、\\
&V[X+Y] = V[X] + V[Y] + 2Cov[X,Y]\\
&where \; Cov[X,Y] \equiv E[(X-\mu_X)(Y-\mu_Y)]\\
\\
&[V4'] \; 特に確率変数X,Yが独立であれば、\\
&V[X+Y] = V[X] + V[Y]\\
\\
\\
&[V4] の証明\\
\\
&次のように略記する：\mu_X \equiv E[X], \; \mu_Y \equiv E[Y]\\
\\
&V[X+Y] = E[(X+Y-\mu_X-\mu_Y)^2] = \\
&E[(X-\mu_X)^2+2(X-\mu_X)(Y-\mu_Y)+(Y-\mu_Y)^2] = \\
&E[(X-\mu_X)^2]+2E[(X-\mu_X)(Y-\mu_Y)]+E[(Y-\mu_Y)^2] = \\
&E[(X-\mu_X)^2]+E[(Y-\mu_Y)^2] = V[X]+V[Y]\\
\\
&何故なら[E1]より以下が成り立つ。\\
&E[X-\mu_X] = E[X] - \mu_X = 0\\
&E[Y-\mu_Y] = E[Y] - \mu_Y = 0\\
\\
&以下X'=X-\mu_X,Y'=Y-\mu_Yとおく。\\
&XとYは独立だからf_{XY}(x-\mu_X,y-\mu_Y)=f_X(x-\mu_X) f_Y(y-\mu_Y)が成り立つ。\\
&よって、\\
&f_{X' Y'}(x,y) = f_{XY}(x-\mu_X,y-\mu_Y)=f_X(x-\mu_X) f_Y(y-\mu_Y) = f_{X'}(x) f_{Y'}(y)\\
&つまりX'とY'も独立であると言える。\\
\\
&このとき[E3]から以下が成り立つ。\\
&E[(X-\mu_X)(Y-\mu_Y)] = E[(X-\mu_X)] \; E[(Y-\mu_Y)] =0\\
\\
&Q.E.D.\\
&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \\
\end{align}

#４．共分散の性質

\begin{align}
\\
&C[1] \; Cov[X+a, Y+b] = Cov[X,Y]\\
\\
&C[2] \; Cov[aX,Y] = aCov[X,Y]\\
\\
&C[3] \; Cov[X,Y+Z] = Cov[X,Y] + Cov[X,Z]\\
\\
&C[4] \; Cov[aX+bY+c,\; dZ+eW+f] =\\
&\qquad \; ad\:Cov[X,Z]+ae\:Cov[X,W]+bd\:Cov[Y,Z]+be\:Cov[Y,W]\\
\\
\\
&\qquad \qquad  \qquad \qquad  \qquad \qquad  \qquad \qquad \\
\end{align}