ベイズの識別規則は誤り率最小

ベイズ誤り率（＝R1, R2における条件付きベイズ誤り率の期待値）

期待値の定義より\\
E\{ε(x)\} = \int_{R_1 + R_2}ε(x)p(x)dx\\
\quad\\
↓条件付きベイズ誤り率の定義より\\
\quad\\
= \int_{R_1 + R_2}min[P(C_1|x), P(C_2|x)]p(x)dx\\
\quad\\
↓ベイズの定理より\\
\quad\\
= \int_{R_1 + R_2}min[\frac{p(x|C_1)P(C_1)}{p(x)}, \frac{p(x|C_2)P(C_2)}{p(x)}]p(x)dx\\
\quad\\
↓p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min[p(x|C_1)P(C_1), p(x|C_2)P(C_2)]dx\\
\quad\\
↓誤るということは、R2領域でC1・R1領域でC2に識別するということ\\
\quad\\
= \int_{R_1 + R_2} (p(C_1,x \in R_2), p(C_2,x \in R_1)) dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_2} p(x|C_1)P(C_1)dx + \int_{R_1} p(x|C_2)P(C_2)dx

最小損失基準に基づくベイズの識別規則

損失行列の例

\begin{bmatrix}
L_{健健} & L_{健病} \\
L_{病健} & L_{病病} \\
\end{bmatrix} = 
\begin{bmatrix}
0 & 20 \\
1 & 0 \\
\end{bmatrix}

観測データxをクラスCiと判断したときに被る損失r(C_i|x)は

r(C_i|x) = \sum_{k=1}^{K} L_{ik}P(C_k|x)

識別規則は「損失のもっとも小さいクラスに識別する」

識別クラス = arg \quad min_i \quad r(C_i|x)

以下、2クラスの場合について

識別規則は、損失のもっとも小さいクラスに識別すること。なので、入力データxが与えられたとき損失r(x)は

r(x) = min[r(C_1|x), r(C_2|x)]

損失の期待値

\int_{R_1 + R_2}min[r(C_1|x), r(C_2|x)]p(x)dx\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}P(C_1|x) + L_{12}P(C_2|x), \\
L_{21}P(C_1|x) + L_{22}P(C_2|x) \\
\end{bmatrix}p(x)dx\\
\quad\\
↓ベイズの定理を代入して、p(x)で約分\\
\quad\\
= \int_{R_1 + R_2}min
\begin{bmatrix}
L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2), \\
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) \\
\end{bmatrix}dx\\
\quad\\
↓R_1とR_2に分けて表現
\quad\\
= \int_{R_1} (L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2) )dx + \int_{R_2} (L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2) )dx \\

損失の期待値を最小にする識別規則は

L_{11}p(x|C_1)P(C_1) + L_{12}p(x|C_2)P(C_2)　
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{21}P(x|C_1)P(C_1) + L_{22}P(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をそろえるために書き換え
\quad\\

L_{11}p(x|C_1)P(C_1) - L_{21}P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
L_{22}P(x|C_2)P(C_2) - L_{12}p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓共通項をまとめる
\quad\\

(L_{11} - L_{21})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
< \\
>
\end{array}
\right\}
(L_{22} - L_{12})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓一般に、L_{ii} \leq L_{ij}。このままだとマイナスの比較でわかりづらい。両辺にマイナスをかける\\
\quad\\

(L_{21}-L_{11})P(x|C_1)P(C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
(L_{12}-L_{22})p(x|C_2)P(C_2)
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母に(L_{21}-L_{11})P(C_1)かける\\
\quad\\

P(x|C_1)
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})p(x|C_2)P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

\quad\\
↓分母にp(x|C_2)かける\\
\quad\\

\frac{P(x|C_1)}{p(x|C_2)}
 \left\{
\begin{array}{ll}
> \\
<
\end{array}
\right\}
\frac{(L_{12}-L_{22})P(C_2)}{(L_{21}-L_{11})P(C_1)}
 \left\{
\begin{array}{ll}
=> C_1 \\
=> C_2
\end{array}
\right.

リジェクト

クラス1側のリジェクト領域

ε(x) = \frac{p(x|C_2)P(C_2)}{p(x)} \geq t

\quad\\
↓p(x) = p(x|C_1)P(C_1) + p(x|C_2)P(C_2)を代入\\
\quad\\

\frac{p(x|C_2)P(C2)}{p(x|C_1)P(C_1) + p(x|C_2)P(C_2)} \geq t\\

\quad\\
↓両辺に分母をかける\\
\quad\\

p(x|C_2)P(C2) \geq p(x|C_1)P(C_1)t + p(x|C_2)P(C_2)t\\

\quad\\
↓分母にp(x|C_2)P(C_2)をかける\\
\quad\\

1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}t + t\\

\quad\\
↓分母にtをかける\\
\quad\\

\frac{1}{t} \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)} + 1\\

\quad\\
↓変形\\
\quad\\

\frac{1}{t} - 1 \geq \frac{p(x|C_1)P(C_1)}{p(x|C_2)P(C_2)}\\

\quad\\
↓両辺に\frac{P(C_2)}{P(C_1)}かける\\
\quad\\

\frac{1-t}{t} \frac{P(C_2)}{P(C_1)} \geq \frac{p(x|C_1)}{p(x|C_2)}\\

ROC曲線

書き方

完全な識別器

ランダムな識別器