Help us understand the problem. What is going on with this article?

【初心者向け】ベイズの定理とは?

AIや機械学習の勉強をしていると、「ベイズ推定」という言葉をよく見かけます。これを理解するためには「ベイズの定理」を理解すべきなのかと考えまして、「ベイズの定理」についてまとめました。

何かの実験で「結果」が観測されたとき、その背景にある「原因」の確率を求めたいときに、「ベイズの定理」が使われます。一般的に、原因 → 結果となる確率は求めやすいけど、結果 → 原因となる確率は見出しづらいのですが、こういうときに使われるんですね。

ベイズの定理

事前確率と事後確率は違うもの?

10枚のカードから1枚をひく実験を考えます。
10枚には赤と青の二種類のカードがあり、それらのうち何枚かには「当」マークが書かれています。次の図のような感じを考えましょう。

image.png

問1-1: このとき、「当」が出る確率は?

以降の数式で関数Pは確率を表します。

P(当) = \frac{3}{10}

問1-2: では、「赤」かつ「当」の確率は?

P(赤, 当) = \frac{2}{10}

このような「赤」と「当」が同時に生起する確率を同時確率と呼んでいます。

問1-3: 引いたカードが「赤」だったとき、「当」の確率は?

既に「赤」であることまでは分かっているので、問1-1や問1-2とは異なります。

P(当|赤) = \frac{2}{4}

問1-1のように「赤」であることが分かる前の確率を事前確率、問1-3のように「赤」であることが分かった後の確率を事後確率と呼びます。「|」を使っていて、問1-2とも式の書き方が違いますよね。条件付き確率ともいわれ、P(当|赤)と書かれていたら「赤」という条件が与えられたときに「当」である確率と読むことができます。「|」の後に書かれるのが条件です。

ベイズ統計における確率とは、確信度のこと! 

確率の考え方には、2種類あるそうです。先のカードの例における確率は、主観確率という考え方を理解すると、受け入れやすいです。

客観確率(一般的に考えられる確率)

確率を相対頻度の極限として捉える立場を頻度主義と読んでいて、この考え方における確率を客観確率と呼んでいます。
例えば、サイコロの目が1である確率は無限回試行すれば1/6ですよね。

主観確率(ベイズ統計学における確率)

確信度(degree of belief)をもとにした確率です。先のカードの例でいえば、当初は「当」が出る確率P(当)は30%だと思っていたのですが、カードが「赤」であると分かった瞬間に確率P(当|赤)は50%だと思うようになりました。新しい事実が発見されれば、確信度は異なるのですね。このようなベイズ統計学における確率は主観確率と呼ばれ、確率をこのように解釈する立場をベイズ主義と呼びます。

ベイズの定理

さて、ベイズの定理の勉強していて、最初につまづくのは次の式だと思います。この式で重要なのは結果から原因の確率(逆確率)を求められることにあります。
ある原因が起きた時にある結果が起きる確率P(結果|原因)から、ある結果が観測されたときに、それがある原因によるものである確率P(原因|結果)が分かるという式になっています。結果は観測しやすいけどその原因が分からないような場合に、ベイズの定理が威力を発揮します。確率P(原因|結果)が確率P(結果|原因)から導かれる式になっていることを確認しましょう。(私のような初心者は)式の導出はさておいて、こういう式が成り立つのだと受け入れることにしました。

P(原因|結果) = \frac{P(結果,原因)}{P(結果)}\\
             = \frac{P(結果|原因)}{P(結果)}・P(原因)\\
             = \frac{P(結果|原因)}{\sum_{原因} P(原因)P(結果|原因)}・P(S)

Sを原因、Xを結果として、もっと数式らしくなります。

P(S|X) = \frac{P(X,S)}{P(X)}\\
             = \frac{P(X|S)}{P(X)}・P(S)\\
             = \frac{P(X|S)}{\sum_{S} P(S)P(X|S)}・P(S)

結果から原因を探る問題は一般的に逆問題と呼ばれていて、これが求められる個所は世の中で多いため、これだけベイズの定理が求められているんですね。

参考資料

主に、次の書籍を参考に勉強しました。

続・わかりやすい パターン認識 -教師なし学習入門-
https://shop.ohmsha.co.jp/shopdetail/000000000574/

 第1章 ベイズ統計学
  1・2 ベイズの定理
  1・3 頻度から確信度へ
  1・4 逆確率 - 結果から原因を -

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away