確率の公式

機械学習で不確実性を扱う時は確率を使うのが最もよく使われますが、その定理。確率は論理学において不確実性を扱えるようにした物という解釈もあります。

余事象の定理（not）

P(\bar{A}) = 1 - P(A)

加法定理（or）

P(A \cup B) = P(A) + P(B) - P(A \cap B)

排反

A と B が互いに排反の時 $P(A \cap B) = 0$ であり $P(A \cup B) = P(A) + P(B) $。

乗法定理（and）

\begin{align}
P(A \cap B) &= P(B \mid A)\ P(A) \\
P(A \cap B \cap C) &= P(C \mid A \cap B)\ P(B \mid A)\ P (A)
\end{align}

条件付き確率

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

ベイズの定理

P(A \mid B) = \frac{P(B \mid A)\ P(A)}{P(B)}

上記にあたり、分子が既知なら一般的には分母は下記が使える事が多いです。

P(B) = \sum_a P(B \mid a)\ P(a)

ベイズの定理に C を追加。

P(A \mid B \cap C) = \frac{P(B \mid A \cap C)\ P(A \mid C)}{P(B \mid C)}

周辺確率

P(A) = \sum_b P (A \cap b) = \sum_b P(A \mid b)\ P(b)

これに C を追加。

P(A \mid C) = \sum_b P (A \cap b \mid C) = \sum_b P(A \mid b \cap C)\ P(b \mid C)