問題 1.25
単一の目標変数 $t$ の(1.87)の二乗損失関数のベクトル値 $\mathbf{t}$ で表される多変数の場合への以下の一般化について考える。
$$
\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})] = \iint||\mathbf{y}(\mathbf{x}) - \mathbf{t}||^2p(\mathbf{x}, \mathbf{t})d\mathbf{x}d\mathbf{t}
$$
変分法によって、この期待損失を最小化する関数$\mathbf{y}(\mathbf{x})$が$\mathbf{y}(\mathbf{x})=\mathbb{E}_\mathbf{t}[\mathbf{t}\ |\ \mathbf{x}]$で与えられることを示せ。単一の目標変数\mathbf{t}の場合はこの結果が(1.89)に帰着されることを示せ。
解答
$$
G(\mathbf{y}(\mathbf{x}), \mathbf{x})=\int||\mathbf{y}(\mathbf{x}) - \mathbf{t}||^2p(\mathbf{x}, \mathbf{t})d\mathbf{t}
$$
とおくと、
$$
\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})] =\int G(\mathbf{y}(\mathbf{x}), \mathbf{x})d\mathbf{x}
$$
となる。
$\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]$を最小化するような$\mathbf{y}(\mathbf{x})$を$\mathbf{y}_m(\mathbf{x})$とすると$\mathbf{y}_m(\mathbf{x})$が満たすべき必要条件は変分法により、
$$
\frac{\partial G}{\partial \mathbf{y(\mathbf{x})}}=\int2\ (\ \mathbf{y}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}
$$
$$
\int2\ (\ \mathbf{y}_{m}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}=0
$$
$$
\mathbf{y}_m(\mathbf{x}) = \int\frac{\mathbf{t}p(\mathbf{x}, \mathbf{t})}{p(\mathbf{x})}d\mathbf{t}
$$
$$
\frac{p(\mathbf{x}, \mathbf{t})}{p(\mathbf{x})}=p(\mathbf{t}\ |\ \mathbf{x})
$$
のため
$$
\mathbf{y}_m(\mathbf{x})=\int \mathbf{t}\ p(\mathbf{t}\ |\ \mathbf{x})d\mathbf{t}
$$
$$
=\mathbb{E}_{\mathbf{t}}[\mathbf{t}\ |\ \mathbf{x}]
$$
となる。
さらに、$\frac{\delta \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]}{\delta \mathbf{y(\mathbf{x})}}=\int2\ (\ \mathbf{y}(\mathbf{x}) - \mathbf{t}\ )\ p(\mathbf{x}, \mathbf{t})d\mathbf{t}$
であり
| $\mathbf{y}(\mathbf{x})$ | ... | $\mathbf{y}_{m}(\mathbf{x})$ | ... |
|---|---|---|---|
| $\frac{\delta \mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]}{\delta \mathbf{y(\mathbf{x})}}$ | - | 0 | + |
| $\mathbb{E}[L(\mathbf{t}, \mathbf{y}(\mathbf{x})]$ | $\searrow$ | min | $\nearrow$ |
ここでは$\delta$は変分法を表す。よって、
$$
\mathbf{y}_m(\mathbf{x})=\mathbb{E}_{\mathbf{t}}[\mathbf{t}\ |\ \mathbf{x}]
$$
となる。