Udemyのベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1を受講しているときのメモ.
1. ベイズ確率について
機械学習のモデルを確率モデルとして表現するには，ベイズ推定の知識が必要.
まずは，それらの意味を確認する．
1.1. 確率と同時確率
- 確率変数:xが起こる頻度を指す
Pr(x)
- 同時確率変数: 事象xと事象yが同時に起こる頻度を指す
Pr(x, y)
- 周辺化: この同時確率変数の中の事象の一つを合計すると1変数の確率変数に変わる．
Pr(x) = \int Pr(x, y) dy
1.2. 条件付き確率
- 事象xが起きるときに，事象yが起こる確率を指す．
Pr(y|x)
- この条件付き確率は，下式で表現できる．
- 意味: 事象xが起きるときに，事象yが起こる確率と事象xが起こる時の確率をかけ合わせると事象xと事象yが同時に起こる確率
Pr(x, y) = Pr(y|x)Pr(x) \\
- 同様に，事象yが起きたときの事象xが起こる確率も表現できる.
Pr(x, y) = Pr(x|y)Pr(y)
1.4 ベイズ確率について
1.3の条件付き確率を定義した．
Pr(x, y) = Pr(y|x)Pr(x) \\
Pr(x, y) = Pr(x|y)Pr(y)
- 上の二つの条件を組み合わせたものが，下式であり，これをベイズの定理と呼ぶ.
Pr(y|x) = \frac{Pr(x|y)Pr(y)}{Pr(x)}
2. ベイズ推定
ベイズの定理を利用して，とある事象が起きた場合の事象の変化を確率的に推定すること
ベイズ推定の考え方:
-
$Pr(y)$: 事象xが起きる前の，事象yの確率
（事前確率, prior probability） -
$Pr(y|x)$: 事象xが起きた後での, 事象yの確率
（事後確率，条件付き確率, posterior probability，conditional probability）
ベイズの定理を使えば，事後確率 $P(y|x)$ は下記に従って計算できる.
Pr(y|x) = \frac{Pr(x|y)Pr(y)}{Pr(x)}
すなわち，事象xに関するデータが得られたとすると, それを反映し, 尤度$ Pr(x|y)$を求める．
そして，求めた尤度$Pr(x|y)$と事象yの事前確率から, 事後確率を推定．
また，$Pr(x)$は，正規化項目なので無視していい
何が面白いの？
- この事前確率，尤度，事後確率の関係性が機械学習に多いに関係する．
- 機械学習って尤度を求める方法の一つって捉えてもいい