条件付き確率

事象$B$が起こる条件のもとで事象$A$が起こる条件付き確率の定義
$$
P(A|B)=\frac{P(A\cap B)}{P(B)}　（※P(B)>0）
$$
これは$A$と$B$が同時に起こる確率に対して$P(B)$で割ることによって、$B$を全事象と考え直したときの状況下で相対的に$A$が起こる確率を表しています。

ベイズの定理（離散型の場合）

$P(A)>0$の条件を追加すれば、上記同様に
$$
P(B|A)=\frac{P(A\cap B)}{P(A)}　（※P(A)>0）
$$
が成立するので、２つ式を合わせると
$$
P(A|B)P(B)=P(B|A)P(A)\
$$
両辺を$P(B)$で割るとベイズの定理が導けます。
$$
P(A|B)=\frac{P(B|A)P(A)}{P(B)}
$$

右辺には$A$のもとで$B$が起こる確率がありますが、これから計算することでその逆の、$B$のもとで$A$が起こる確率が算出されます。

確率変数

確率空間$(\Omega,F,P)$上の確率変数$X,Y$があり、$Y$は離散型確率変数（つまり、１点をとる確率は０でない）とします。それらがとる値の集合$\{X \in C\}$と$\{Y=y\}$も事象になるため、上記$A,B$にそれぞれ当てはめてみると、次のように表現できます。
$$
P(X \in C|Y=y)=\frac{P(Y=y|X \in C)P(X \in C)}{P(Y=y)}
$$

確率変数（Yが連続型の場合）

確率変数$X,Y$が同時密度関数$f(・,・)$をもつ連続型、$Y$の周辺密度関数を$f_{Y}(・)$とします。
上で離散型の条件付き確率を書きましたが、連続型で同じように$Y=y$でやろうとすると、連続型の１点をとる確率は$0$なので、分母が$0$になってしまって定義ができません。そこで次のように条件付き確率を定めなおします。
$$
P(X \in C|Y=y):=\lim_{\delta → +0}P(X \in C|y ≦ Y < y+ \delta)
$$
これなら$\lim$を取る前の右辺の分母は０にならず定義できます。ここから式変形を進めていきます。最後に微分をするため、$\{X \in C\}$を$\{X≦x\}$に限定して考えることにします。
$$P(X ≦x|y ≦ Y < y+ \delta)=\frac{P(X ≦x, y ≦ Y < y+ \delta)}{P(y ≦ Y < y+ \delta)}=\frac{\int_{y}^{y+ \delta}\int_{-∞}^{x}f(s,t)dsdt}{\int_{y}^{y+ \delta}f_{Y}(s)ds}$$

分子分母を$\delta$で割り$\delta→0$とすれば、「微分積分学の基本定理」より
$$
P(X ≦x|Y=y)=\frac{\int_{-∞}^{x}f(s,y)ds}{f_{Y}(y)}
$$
となります。さらに$F(x)=P(X ≦x|Y=y)$とおき、上記式の両辺を$x$で微分すると
$$
F^{'}(x)=\frac{f(x,y)}{f_{Y}(y)}
$$
の形になります。ここで右辺をみていきます。逆に$x$に関して$∞$までで積分すると
$$
\frac{1}{f_{Y}(y)}\int_{-∞}^{∞}f(s,y)ds=\frac{1}{f_{Y}(y)}f_Y{(y)}=1
$$
になり、また$F^{'}(x)≧0$であることは明らかです。よって$F^{'}(x)$は$X$の$Y=y$で条件を付けた分布$P(X ≦x|Y=y)$の密度関数になっています。この密度関数を$f_{X|Y}(x|y)$と書けば
$$
f_{X|Y}(x|y)=\frac{f(x,y)}{f_{Y}(y)}
$$
と表せることになります。これが条件付き密度関数です。

※ちなみに、$\{X≦x\}$と限定的な集合で考えましたが、この表現で完全に分布が決まることが知られていますので、理論的にも問題ありません。

ベイズの定理（連続型の場合）

$X$と$Y$を逆にしたもので考えれば
$$f_{Y|X}(y|x)=\frac{f(x,y)}{f_{X}(x)}$$
となるので、上記式と組み合わせれば
$$
f_{X|Y}(x|y)=\frac{f_{Y|X}(y|x)･f_{X}(x)}{f_{Y}(y)}
$$
が成立します。この結果もベイズの定理といいます。