PRML 演習問題 1.25（基礎） 解答

問題 1.25

単一の目標変数 $t$ の(1.87)の二乗損失関数のベクトル値 $\mathbf{t}$ で表される多変数の場合への以下の一般化について考える。
$$
\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})] = \iint||\mathbf{y}(\mathbf{x}) - \mathbf{t}||^2p(\mathbf{x}, \mathbf{t})d\mathbf{x}d\mathbf{t}
$$
変分法によって、この期待損失を最小化する関数$\mathbf{y}(\mathbf{x})$が$\mathbf{y}(\mathbf{x})=\mathbb{E}_\mathbf{t}[\mathbf{t}\ |\ \mathbf{x}]$で与えられることを示せ。単一の目標変数\mathbf{t}の場合はこの結果が(1.89)に帰着されることを示せ。

解答

$$
G(\mathbf{y}(\mathbf{x}), \mathbf{x})=\int||\mathbf{y}(\mathbf{x}) - \mathbf{t}||^2p(\mathbf{x}, \mathbf{t})d\mathbf{t}
$$
とおくと、
$$
\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})] =\int G(\mathbf{y}(\mathbf{x}), \mathbf{x})d\mathbf{x}
$$
となる。

$\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]$を最小化するような$\mathbf{y}(\mathbf{x})$を$\mathbf{y}_m(\mathbf{x})$とすると$\mathbf{y}_m(\mathbf{x})$が満たすべき必要条件は変分法により、
$$
\frac{\partial G}{\partial \mathbf{y(\mathbf{x})}}=\int2\ (\ \mathbf{y}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}
$$
$$
\int2\ (\ \mathbf{y}_{m}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}=0
$$
$$
\mathbf{y}_m(\mathbf{x}) = \int\frac{\mathbf{t}p(\mathbf{x}, \mathbf{t})}{p(\mathbf{x})}d\mathbf{t}
$$
$$
\frac{p(\mathbf{x}, \mathbf{t})}{p(\mathbf{x})}=p(\mathbf{t}\ |\ \mathbf{x})
$$
のため
$$
\mathbf{y}_m(\mathbf{x})=\int \mathbf{t}\ p(\mathbf{t}\ |\ \mathbf{x})d\mathbf{t}
$$
$$
=\mathbb{E}_{\mathbf{t}}[\mathbf{t}\ |\ \mathbf{x}]
$$
となる。
さらに、$\frac{\delta \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]}{\delta \mathbf{y(\mathbf{x})}}=\int2\ (\ \mathbf{y}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}$
であり

$\mathbf{y}(\mathbf{x})$	...	$\mathbf{y}_{m}(\mathbf{x})$	...
$\frac{\delta \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]}{\delta \mathbf{y(\mathbf{x})}}$	-	0	+
$\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]$	$\searrow$	min	$\nearrow$

ここでは$\delta$は変分法を表す。よって、
$$
\mathbf{y}_m(\mathbf{x})=\mathbb{E}_{\mathbf{t}}[\mathbf{t}\ |\ \mathbf{x}]
$$
となる。