Help us understand the problem. What is going on with this article?

ベイズの定理の計算をグラフでイメージする

ベイズの定理

p(C_k|x) = \frac{p(x|C_k)p(C_k)}{p(x)}

 ベイズの定理を使って事後確率 $p(C_k|x)$を求める過程を、尤度(クラス別密度) $p(x|C_k)$、生起確率(入力データの分布) $p(x)$のグラフを使ってイメージしたい。この記事では $k=1, 2$ で2クラス判別をする場合を考える。また、事前確率は $p(C_1) = p(C_2) = \frac{1}{2}$ とする。

尤度(クラス別密度)

尤度 $p(x|C_k)$ は以下のような分布をしていると設定する。
尤度.png
尤度は正規分布のような単純な分布ではなく、複雑な分布を取り得る。そのため、正確に尤度の分布を知るには大量のデータが必要になる

生起確率(入力データの分布)

生起確率 $p(x)$ は
$$ p(x) = \sum_k p(x|C_k)p(C_k) = \sum_k p(x, C_k) $$
のように周辺化することで求められるから、下のグラフのようになる。
生起確率.png
見た目はただ足しただけだが、実際に生成モデルで行われる周辺化は計算量が多い

生成モデル(余談)

尤度と生起確率の段落でそれぞれ太字になっている部分の

  • 大量のデータが必要になる
  • 周辺化は計算量が多い

ということが入力データの分布 $p(x)$ を求めることができる生成モデルの弱点。

事後確率

(今回は、2クラスの事前確率は等しいと仮定しているので無視する。)

$$ 事後確率 = \frac{尤度}{生起確率} $$
事後確率は上式で求められるから、尤度と生起確率を上のグラフの色で表すと下のようになる。

$$ 緑 = \frac{赤}{紫}, 橙 = \frac{青}{紫} $$

実際に緑と橙を計算したものをプロットすると下のようになる。
事後確率.png

生起確率と事後確率のグラフを一緒に眺めると、赤と紫がほぼ重なっているように見える部分は緑がほぼ $1$ で一定になっていて、(2本目の縦線らへんから)だんだん離れ始めると緑も下がり始める。

また、2つのグラフを同じ平面上にプロットすると下のようになる。
拮抗.png
尤度が拮抗してる点で事後確率は $\frac{1}{2}$ になりどっちつかずの状態になる。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした