ベイズ定理ことはじめ #MachineLearning

統計的仮定におけるベイズ定理は古典的ながら確率論や統計学を語る上で避けては通れない重要かつ基礎的な理論です。

尤度と事後確率

次のような例を考えてみます。

新薬の効果を調べるために 5 人の治験者を抽出した。すると 4 人には薬が有効であり 1 人には有効ではなかった。

母集団全体に有効なとき = 1 、無効なとき = 0 とすると、この標本集団から得られる新薬の効き具合の分布はどうなるか。

効く確率 θ のもとで、データ X ( 5 人の治験者中 4 人に効き、 1 人に効かないこと) の起こる確率が尤度 f(X|θ) です。

このとき尤度は次のようになります。

f(X|{\theta}) = \substack{5}C\substack{4}{\theta}^4(1-{\theta}) \\
ただし \\
(0 \le {\theta} \le 1)

ベイズの定理では、実際に治験するまでは確率 θ についての情報は不十分ということになります。なぜなら治験するまでは薬が効くか効かないかなんて決め付けることはできないからです。このときの確率 θ を事前確率と言います。

では事後分布はどのように求めるのでしょうか。ある事象 A が起こったという条件のもとで事象 B の起こる確率を A のもとで B の起こる条件付き確率と言います。

ベイズ定理に当てはめると次の通りになります。

P(A|B) = \frac {P(B|A) P(A)} {P(B)}

したがってこれを解くと、薬が効く、すなわち θ >= 0.5 の範囲を得られる事後確率は

\int_{0.5}^{-1} {\pi}({\theta}|X)x{\theta} = \\
\int_{0.5}^{-1} 30{\theta}^4(1-{\theta})x{\theta} = \\
\frac {57} {64} \approx \\
0.89

となります。

このように、ベイズの理論では事象にもとづいてその背景にある原因を探っていくところに基本的な考え方があります。

人間にとって原因が明らかにわかっておりそこから結果を推定するということが常にあるわけではなく、特に自然科学などの分野では表象の物事から原因を探っていくことが大半です。ですから、ベイズの定理が確率を探る上での思考体系として人にやさしくすんなりと理解できることがお判りになるかと思います。

では次のような例を考えてみましょう。

ある商店街では連続して 3 人の女性が通過した。次の通行人が男性である確率はどれほどか。

世の中の男女の割合はほぼ 1:1 です。ですからベイズでない独立試行の考え方からすれば次の通行人が男性である確率は 0.5 です。しかし、偶然とはいえ女性が連続で 3 人も通過したのですからもしかしたらこの商店街は女性に人気のお店がたくさんあるのかもしれません。

ベイズの定理では原因 A を θ 、結果 B を x とおいて、事前確率 P(Ai) を w(θi) 、事後確率 P(Ai|B) を w'(θi|x) 、確率 P(x|θ) を x の関数として p(x|θi) と書くことにより

w'(θ_i|x) = \frac {w({\theta_i})p(x|{\theta}_i) } {\sum w(\theta_j)p(x|{\theta}_j)}

となります。

事後確率は

w({\theta}_1|x_1) = \frac {9} {19}, \\
w({\theta}_2|x_1) = \frac {6} {19}, \\
w({\theta}_3|x_1) = \frac {4} {19}

として得られます。

さて、観察している間にも次から次へと通行人がやってきて通過します。このように θ が連続的に動くなら、積分を用いて

w'({\theta}|x) = \frac {w({\theta})・p(x|{\theta}) } {\int_{\theta} w(\theta)p(x|{\theta})d{\theta}}

となります。

そもそも通行人が一人も通っていない段階では、何が起こるか一切情報がありませんから、 α = β = 1 として θ に一様分布を仮定する他ありません。

通行人が連続で 3 人女性だったというデータを得たときは θ についての考え方が変わってきます。 n = 3 、 ∑Xi = 3 ですから α' = 4 、 β' = 1 となるベータ分布が仮定されます。

分布の期待値は次式で表されます。

\frac {{\alpha}'} {{\alpha}' + {\beta}'} = \frac 4 5

今回はベイズ定理の基本的な考え方について触れました。次回以降はどのような分野に応用されるのか、また実際にどのように実装していくのかと話を進めていきます。

入門ベイズ統計―意思決定の理論と発展
http://www.amazon.co.jp/dp/4489020368