3
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

はじめてのパターン認識 第3章 ベイズの識別規則 後半(数式メモ)

Last updated at Posted at 2017-08-23

ベイズの識別規則は誤り率最小

ベイズ誤り率(=R1, R2における条件付きベイズ誤り率の期待値)

期待値の定義より\\
E\{ε(x)\} = \int_{R_1 + R_2}ε(x)p(x)dx\\
\quad\\
↓条件付きベイズ誤り率の定義より\\
\quad\\
= \int_{R_1 + R_2}min[P(C_1|x), P(C_2|x)]p(x)dx\\
\quad\\
↓ベイズの定理より\\
\quad\\
= \int_{R_1 + R_2}min[\frac{p(x|C_1)P(C_1)}{p(x)}, \frac{p(x|C_2)P(C_2)}{p(x)}]p(x)dx\\
\quad\\
↓p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min[p(x|C_1)P(C_1), p(x|C_2)P(C_2)]dx\\
\quad\\
↓誤るということは、R2領域でC1・R1領域でC2に識別するということ\\
\quad\\
= \int_{R_1 + R_2} (p(C_1,x \in R_2), p(C_2,x \in R_1)) dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_2} p(x|C_1)P(C_1)dx + \int_{R_1} p(x|C_2)P(C_2)dx

最小損失基準に基づくベイズの識別規則

損失行列の例

\begin{bmatrix}
L_{健健} & L_{健病} \\
L_{病健} & L_{病病} \\
\end{bmatrix} = 
\begin{bmatrix}
0 & 20 \\
1 & 0 \\
\end{bmatrix}

観測データxをクラスCiと判断したときに被る損失r(C_i|x)は

r(C_i|x) = \sum_{k=1}^{K} L_{ik}P(C_k|x)

識別規則は「損失のもっとも小さいクラスに識別する」

識別クラス = arg \quad min_i \quad r(C_i|x)

以下、2クラスの場合について

識別規則は、損失のもっとも小さいクラスに識別すること。なので、入力データxが与えられたとき損失r(x)は

r(x) = min[r(C_1|x), r(C_2|x)]

損失の期待値

\int_{R_1 + R_2}min[r(C_1|x), r(C_2|x)]p(x)dx\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}P(C_1|x) + L_{12}P(C_2|x), \\
L_{21}P(C_1|x) + L_{22}P(C_2|x) \\
\end{bmatrix}p(x)dx\\
\quad\\
↓ベイズの定理を代入して、p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2), \\
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) \\
\end{bmatrix}dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_1} (L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2) )dx + \int_{R_2} (L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) )dx \\

損失の期待値を最小にする識別規則は

L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2) 
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をそろえるために書き換え
\quad\\

L_{11}p(x|C_1)P(C_1) - L_{21}P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{22}P(x|C_2)P(C_2) - L_{12}p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をまとめる
\quad\\

(L_{11} - L_{21})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
(L_{22} - L_{12})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓一般に、L_{ii} \leq L_{ij}。このままだとマイナスの比較でわかりづらい。両辺にマイナスをかける\\
\quad\\

(L_{21}-L_{11})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
(L_{12}-L_{22})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母に(L_{21}-L_{11})P(C_1)かける\\
\quad\\

P(x|C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})p(x|C_2)P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母にp(x|C_2)かける\\
\quad\\

\frac{P(x|C_1)}{p(x|C_2)}
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.
スクリーンショット 2017-08-23 16.47.56.png スクリーンショット 2017-08-23 16.48.01.png

リジェクト

スクリーンショット 2017-08-23 16.48.08.png

クラス1側のリジェクト領域

ε(x) = \frac{p(x|C_2)P(C_2)}{p(x)} \geq t

\quad\\
↓p(x) = p(x|C_1)P(C_1) + p(x|C_2)P(C_2)を代入\\
\quad\\

\frac{p(x|C_2)P(C2)}{p(x|C_1)P(C_1) + p(x|C_2)P(C_2)} \geq t\\

\quad\\
↓両辺に分母をかける\\
\quad\\

p(x|C_2)P(C2) \geq p(x|C_1)P(C_1)t + p(x|C_2)P(C_2)t\\

\quad\\
↓分母にp(x|C_2)P(C_2)をかける\\
\quad\\

1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}t + t\\

\quad\\
↓分母にtをかける\\
\quad\\

\frac{1}{t} \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)} + 1\\

\quad\\
↓変形\\
\quad\\

\frac{1}{t} - 1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}\\

\quad\\
↓両辺に\frac{P(C_2)}{P(C_1)}かける\\
\quad\\

\frac{1-t}{t} \frac{P(C_2)}{P(C_1)} \geq \frac{p(x|C_1)}{p(x|C_2)}\\

ROC曲線

スクリーンショット 2017-08-23 16.32.02.png

書き方

スクリーンショット 2017-08-23 16.32.59.png スクリーンショット 2017-08-23 16.34.45.png

完全な識別器

スクリーンショット 2017-08-23 16.34.59.png

ランダムな識別器

スクリーンショット 2017-08-23 16.34.54.png
3
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?