AIや機械学習の勉強をしていると、「ベイズ推定」という言葉をよく見かけます。これを理解するためには「ベイズの定理」を理解すべきなのかと考えまして、「ベイズの定理」についてまとめました。
何かの実験で「結果」が観測されたとき、その背景にある「原因」の確率を求めたいときに、「ベイズの定理」が使われます。一般的に、原因 → 結果となる確率は求めやすいけど、結果 → 原因となる確率は見出しづらいのですが、こういうときに使われるんですね。
ベイズの定理
事前確率と事後確率は違うもの？
10枚のカードから1枚をひく実験を考えます。
10枚には赤と青の二種類のカードがあり、それらのうち何枚かには「当」マークが書かれています。次の図のような感じを考えましょう。
問1-1: このとき、「当」が出る確率は？
以降の数式で関数Pは確率を表します。
P(当) = \frac{3}{10}
問1-2: では、「赤」かつ「当」の確率は？
P(赤, 当) = \frac{2}{10}
このような「赤」と「当」が同時に生起する確率を同時確率と呼んでいます。
問1-3: 引いたカードが「赤」だったとき、「当」の確率は？
既に「赤」であることまでは分かっているので、問1-1や問1-2とは異なります。
P(当|赤) = \frac{2}{4}
問1-1のように「赤」であることが分かる前の確率を事前確率、問1-3のように「赤」であることが分かった後の確率を事後確率と呼びます。「|」を使っていて、問1-2とも式の書き方が違いますよね。条件付き確率ともいわれ、P(当|赤)と書かれていたら「赤」という条件が与えられたときに「当」である確率と読むことができます。「｜」の後に書かれるのが条件です。
ベイズ統計における確率とは、確信度のこと！
確率の考え方には、2種類あるそうです。先のカードの例における確率は、主観確率という考え方を理解すると、受け入れやすいです。
客観確率（一般的に考えられる確率）
確率を相対頻度の極限として捉える立場を頻度主義と読んでいて、この考え方における確率を客観確率と呼んでいます。
例えば、サイコロの目が1である確率は無限回試行すれば1/6ですよね。
主観確率（ベイズ統計学における確率）
確信度（degree of belief）をもとにした確率です。先のカードの例でいえば、当初は「当」が出る確率P(当)は30%だと思っていたのですが、カードが「赤」であると分かった瞬間に確率P(当|赤)は50%だと思うようになりました。新しい事実が発見されれば、確信度は異なるのですね。このようなベイズ統計学における確率は主観確率と呼ばれ、確率をこのように解釈する立場をベイズ主義と呼びます。
ベイズの定理
さて、ベイズの定理の勉強していて、最初につまづくのは次の式だと思います。この式で重要なのは結果から原因の確率（逆確率）を求められることにあります。
ある原因が起きた時にある結果が起きる確率P(結果|原因)から、ある結果が観測されたときに、それがある原因によるものである確率P(原因|結果)が分かるという式になっています。結果は観測しやすいけどその原因が分からないような場合に、ベイズの定理が威力を発揮します。確率P(原因|結果)が確率P(結果|原因)から導かれる式になっていることを確認しましょう。（私のような初心者は）式の導出はさておいて、こういう式が成り立つのだと受け入れることにしました。
P(原因|結果) = \frac{P(結果,原因)}{P(結果)}\\
= \frac{P(結果|原因)}{P(結果)}・P(原因)\\
= \frac{P(結果|原因)}{\sum_{原因} P(原因)P(結果|原因)}・P(S)
Sを原因、Xを結果として、もっと数式らしくなります。
P(S|X) = \frac{P(X,S)}{P(X)}\\
= \frac{P(X|S)}{P(X)}・P(S)\\
= \frac{P(X|S)}{\sum_{S} P(S)P(X|S)}・P(S)
結果から原因を探る問題は一般的に逆問題と呼ばれていて、これが求められる個所は世の中で多いため、これだけベイズの定理が求められているんですね。
参考資料
主に、次の書籍を参考に勉強しました。
続・わかりやすい パターン認識 －教師なし学習入門－
https://shop.ohmsha.co.jp/shopdetail/000000000574/
第１章 ベイズ統計学
1・2 ベイズの定理
1・3 頻度から確信度へ
1・4 逆確率 － 結果から原因を －