1.機械学習とベイズ推論における学習の違い
-
機械学習における学習
→モデルの持つパラメータの値をデータから決定すること。 -
ベイス推論における学習
→確率計算によってデータを観測した後のパラメータの事後分布を求めること。
2.ベイズ推論における学習
- ベイズ推論においてデータとパラメータの同時分布を考えることでデータを表現するモデルを構築する。
$$
p(D, \theta ) = p(D\ |\ \theta)p(\theta) \\
[D:観測データ, \theta:パラメータ]
$$
◆ $p(D\ |\ \theta)\cdots \theta $からどのような観測データが発生するかを記述する役割を持ち、尤度関数と呼ばれる。
[更新方法]
- 上の式において$p(\theta)$は事前分布とよばれ、この分布を観測データをもとに更新し事後分布を作成することをベイズ推論における学習としている。
また、この更新においてはベイズの定理が用いられる。
$$
p(\theta \ |\ D) = \frac{p(D\ |\ \theta)p(\theta)}{p(D)}
$$
実際の計算においては$\theta$に関係ない関数である$p(D)$は無視し、比例関係をもとに計算する。
3.ベイズ推論における予測
ベイズ推論のおいては学習のみならず、学習されたパラメータの分布を用いて未観測のデータを予測し、知見を得たい場合がある。
その場合、以下の式で表される予測分布を計算することで求めることができる。
$$
p(x_*\ |\ D) = \int p(x_*\ |\ \theta)p(\theta\ |\ D)d\theta \\
[x_*:未観測データ]
$$
4. まとめ
ベイズ推論はパラメータそのものを学習によって求めるわけではなく、パラメータの不確実性を扱うものだということが分かりました。
この後からは学習過程であったり予測過程のシミュレーションを作成して視覚的に理解を深めていこうと思います。