[Statistics] 数理統計_条件付き確率分布

条件付き確率分布

ある確率変数の値が分かっているという条件のもとで、もう一方の確率変数がどのような分布に従うかを表す関数（ルール）

概念	入力	出力	意味
条件付き分布	条件付きの値 $x$ または $y$	分布	ある条件のもとでの確率分布

同時分布

2つ以上の確率変数が、同時にどの値を取るかを表す分布

概念	入力	出力	意味
同時分布	数値の組 ($x,y$)	確率または密度	$X=x, Y=y$ が同時に起こる度合い

数式表現

離散型

$$
p(x,y) = P(X=x, Y=y)
$$

連続型

$$
f(x,y)
$$

確率は積分で表される

$$
P\big((X,Y)\in A\big)
=\iint_A f(x,y),dx,dy
$$

周辺分布

同時分布から、片方の確率変数だけを取り出した分布

概念	入力	出力	意味
周辺分布	数値 $x$ または $y$	確率または密度	一方の変数だけに注目した分布

数式表現

離散型

$$
p_X(x) = \sum_y p(x,y)
$$

$$
p_Y(y) = \sum_x p(x,y)
$$

連続型

$$
f_X(x) = \int_{-\infty}^{\infty} f(x,y),dy
$$

$$
f_Y(y) = \int_{-\infty}^{\infty} f(x,y),dx
$$

条件付き確率分布の表現

同時分布
   ↓
周辺分布
   ↓
条件付き分布
   ├─ 離散型 → 条件付き確率質量関数
   └─ 連続型 → 条件付き確率密度関数

条件付き確率質量関数 = 離散

離散型確率変数において、ある条件のもとで各値を取る確率を表す関数

定義

$$
p_{Y|X}(y|x)=P(Y=y \mid X=x)
$$

同時確率関数と周辺確率関数を使うと

$$
p_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)}
\qquad \left(p_X(x)>0\right)
$$

概念	入力	出力	意味
条件付きPMF	数値 $y$、条件 $x$	確率	$X=x$ のもとで $Y=y$ となる確率

性質

条件 (X=x) を固定すると、確率の総和は1

$$
\sum_y p_{Y|X}(y|x)=1
$$

意味のポイント

• 普通の分布では「全体」を見る
• 条件付き分布では「$X=x$ の場合だけ」を見る

つまり、全体を一度切り分けて、その中だけで確率を作り直すイメージです。

条件付き確率密度関数 = 連続

連続型確率変数において、ある条件のもとでの密度を表す関数

定義

$$
f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}
\qquad \left(f_X(x)>0\right)
$$

概念	入力	出力	意味
条件付きPDF	数値 $y$、条件 $x$	密度	$X=x$ のもとでの $Y$ の密度

性質

条件 (X=x) を固定すると、密度の積分は1

$$
\int_{-\infty}^{\infty} f_{Y|X}(y|x),dy=1
$$

意味のポイント

• 連続型では一点の確率は0
• そのため、条件付きでも「確率」そのものではなく「密度」を扱う
• 区間の確率は積分で求める

$$
P(a \le Y \le b \mid X=x)
=\int_a^b f_{Y|X}(y|x)dy
$$

独立との関係

同時分布が周辺分布の積に分解できるとき、2つの確率変数は独立である

離散型でも連続型でも、本質は同じです。

$$
f(x,y)=f_X(x)f_Y(y)
$$

または

$$
p(x,y)=p_X(x)p_Y(y)
$$

このとき

$$
f_{Y|X}(y|x)=f_Y(y)
$$

または

$$
p_{Y|X}(y|x)=p_Y(y)
$$

となります。

つまり、独立なら条件を付けても分布が変わらないということです。

条件付き期待値

条件付き分布に対して期待値を取ったもの

概念	入力	出力	意味
条件付き期待値	条件 $x$ または $y$	数値	ある条件のもとでの平均

離散型の場合

$$
E(Y \mid X=x)=\sum_y y,p_{Y|X}(y|x)
$$

連続型の場合

$$
E(Y \mid X=x)=\int_{-\infty}^{\infty} y,f_{Y|X}(y|x),dy
$$

意味

「$X=x$ と分かったときの $Y$ の平均」

ここで重要なのは、

$$
E(Y \mid X=x)
$$

は $x$ を入れると数になるが、

$$
E(Y \mid X)
$$

は $X$ を通して値が決まるので、確率変数になることです。

条件付き期待値の見方

条件付き分布
   ↓
その分布の平均を取る
   ↓
条件付き期待値

期待値のくり返しの法則

$$
E[E(Y \mid X)] = E(Y)
$$

意味

• まず、各条件ごとの平均を出す
• 次に、その平均を全体で平均する
• すると元の平均に戻る

条件付き分散

条件付き期待値のまわりのばらつきを、条件付き分布のもとで測ったもの

概念	入力	出力	意味
条件付き分散	条件 (x) または (y)	数値	ある条件のもとでのばらつき

定義

$$
V(Y \mid X=x)
=E\left[(Y-E(Y \mid X=x))^2 \mid X=x\right]
$$

全分散の法則

全体の分散は、「条件付き分散の平均」と「条件付き期待値の分散」に分解できる

$$
V(Y)=E[V(Y \mid X)] + V(E(Y \mid X))
$$

まとめ

概念	入力	出力	役割
同時分布	数値の組 ($x,y$)	確率または密度	2変数の全体像を表す
周辺分布	数値 $x$ または $y$	確率または密度	一方だけの分布を表す
条件付き分布	条件付きの値	分布	条件のもとでの分布を表す
条件付きPMF	数値 $y$、条件 $x$	確率	離散型の条件付き分布
条件付きPDF	数値 $y$、条件 $x$	密度	連続型の条件付き分布
条件付き期待値	条件 $x$ または $y$	数値	条件のもとでの平均
条件付き分散	条件 $x$ または $y$	数値	条件のもとでのばらつき