演習4.2

目標値の分布が超平面に載るという拘束条件の下、誤差関数を最小二乗にしてクラス分類すると、その予測値の分布も超平面上に載るということを証明する問題。

以下、証明を示す。

パラメータ $\mathbf{w}_{0}$ がバイアスとして働くと仮定すると、4.15式は

\begin{aligned}
\mathbf{E}_{D}(\tilde{\mathbf{W}}) = \frac{1}{2} \mathrm{Tr} (( \mathbf{X}\mathbf{W}+\mathbf{1} \mathbf{w}_{0}^{\mathrm{T}} - \mathbf{T})^{\mathrm{T}} 
( \mathbf{X}\mathbf{W}+\mathbf{1} \mathbf{w}_{0}^{\mathrm{T}} - \mathbf{T})
)
\end{aligned}

$\mathbf{T}$は$N×K$行列、$N×(D+1)$、$\mathbf{W}$は$(D+1)×K$
行列であり、$N$はデータ数、$（D+1)$はデータ次元＋バイアス、$K$はクラス数である。

上記の式の$\mathbf{w}_{0}$に関する微分は

\begin{aligned}
\frac{\partial}{\partial \mathbf{w}_{0}}

\mathbf{E}_{D}(\tilde{\mathbf{W}}) &= \frac{1}{2}(\mathbf{W}^\mathrm{T}
\mathbf{X}^\mathrm{T} \mathbf{1} 
+(\mathbf{1}^{\mathrm{T}}\mathbf{X}\mathbf{W})^\mathrm{T}
+2N \mathbf{w_{0}} -(\mathbf{1}^\mathrm{T} \mathbf{T})^\mathrm{T}
\mathbf{T}^\mathrm{T} \mathbf{1})\\
\\&=\mathbf{W}^\mathrm{T} \mathbf{X}^\mathrm{T} \mathbf{1}+N \mathbf{w}_{0}
+ \mathbf{T}^\mathrm{T} \mathbf{1}
\end{aligned}

ここで、

\begin{aligned}
\mathbf{w}_{0} \mathbf{1}^\mathrm{T} \mathbf{1} \mathbf{w}_{0}
=N \mathbf{w}_{0} \mathbf{w}_{0} ^\mathrm{T}
\end{aligned}

に注意する。
これが $\mathbf{0}$ となればよいので、

\begin{aligned}
\mathbf{w}_{0} &= \frac{1}{N}(\mathbf{T}^\mathrm{T} \mathbf{1}- \mathbf{W}^\mathrm{T} \mathbf{X}^\mathrm{T} \mathbf{1})
\\&=\bar{\mathbf{t}} - \mathbf{W} \bar{\mathbf{x}}
\end{aligned}

ただし

\begin{aligned}
\bar{\mathbf{t}}=\frac{1}{N} \mathbf{T}^\mathrm{T} \mathbf{1},\bar{\mathbf{x}}=\frac{1}{N} \mathbf{X}^\mathrm{T} \mathbf{1}
\end{aligned}

これを元の式に代入すると

\begin{aligned}
\mathbf{E}_{D}(\tilde{\mathbf{W}}) = \frac{1}{2} \mathrm{Tr} (( \mathbf{X}\mathbf{W}+\bar{\mathbf{T}} - \mathbf{W} \bar{\mathbf{X}} - \mathbf{T})^{\mathrm{T}} 
( \mathbf{X}\mathbf{W}+\bar{\mathbf{T}} - \mathbf{W} \bar{\mathbf{X}} - \mathbf{T})
)
\end{aligned}

ただし

\begin{aligned}
\bar{\mathbf{T}}= \mathbf{1} \bar{\mathbf{t}}^\mathrm{T},\bar{\mathbf{X}}= \mathbf{1} \bar{\mathbf{x}}^\mathrm{T} 
\end{aligned}

同様にして $\mathbf{W}$ に関する微分を $\mathbf{0}$ とすると

\begin{aligned}
\mathbf{W} &= ((\hat{\mathbf{X}}^\mathrm{T} \hat{\mathbf{X})}^{-1} 
\hat{\mathbf{X}} \hat{\mathbf{T}} = {\mathbf{X}^\dagger}
^\mathrm{T} \hat{\mathbf{T}}
\end{aligned}

ただし

\begin{aligned}
\hat{\mathbf{X}} = \mathbf{X}-\bar{\mathbf{X}},\hat{\mathbf{T}} = \mathbf{T}-\bar{\mathbf{T}}
\end{aligned}

以上から新しい入力 $\mathbf{x}^{\star}$ が得られたときの予測値 $y(\mathbf{x} ^ {\star})$ は

\begin{aligned}
y(\mathbf{x}^{\star}) &= 
\mathbf{W} \mathbf{x}^{\star} + \mathbf{w}_{0}
\\&= \mathbf{W} \mathbf{x}^{\star} + \bar{\mathbf{t}} - \mathbf{W} ^\mathrm{T} \bar{\mathbf{x}} 
\\&= \bar{\mathbf{t}} - \hat{\mathbf{T}} ^\mathrm{T} \hat{\mathbf{X}^{\dagger}} ^\mathrm{T} (\mathbf{x} ^ \star - \bar{\mathbf{x}})
\end{aligned}

4.157式はデータ数に関して平均をとって、

\begin{aligned}
\frac{1}{N} \sum_{n=1}^{N} (\mathbf{a}^{T}\mathbf{t}_{n} + \mathrm{b}) &= (\mathbf{a}^{T}\mathbf{t} + \mathrm{b})
\\&= \frac{1}{N} \mathbf{a}^{T}\mathbf{T}^{\mathrm{T}} \mathbf{1} +\mathrm{b} 
\\&=0
\end{aligned}

なので、

\begin{aligned}
\mathbf{a}^{T}y(\mathbf{x}^\star) 
&= \mathbf{a}^{T}\bar{\mathbf{t}} + \mathbf{a}^{T} \hat{\mathbf{T}} ^\mathrm{T} \hat{\mathbf{X}^{\dagger}} ^\mathrm{T} (\mathbf{x} ^ \star - \bar{\mathbf{x}})
\\&= \mathbf{a}^{T}\bar{\mathbf{t}} + \mathbf{a}^{T} (\mathbf{T}- \bar{\mathbf{T}}) ^\mathrm{T} \hat{\mathbf{X}^{\dagger}} ^\mathrm{T} (\mathbf{x} ^ \star - \bar{\mathbf{x}})
\\&=\mathbf{a}^{T}\bar{\mathbf{t}} + (\mathbf{a}^{T} \mathbf{T}- \mathbf{a}^{T}\bar{\mathbf{t}\mathbf{1}^{\mathrm{T}}}) ^\mathrm{T} \hat{\mathbf{X}^{\dagger}} ^\mathrm{T} (\mathbf{x} ^ \star - \bar{\mathbf{x}})
\\&=\mathbf{a}^{T}\bar{\mathbf{t}} + ( \mathbf{a}^{T}\bar{\mathbf{t}\mathbf{1}^{\mathrm{T}}}- \mathbf{a}^{T}\bar{\mathbf{t}\mathbf{1}^{\mathrm{T}}}) ^\mathrm{T} \hat{\mathbf{X}^{\dagger}} ^\mathrm{T} (\mathbf{x} ^ \star - \bar{\mathbf{x}})
\\&=\mathbf{a}^{T}\bar{\mathbf{t}}
\\&=-b
\end{aligned}

より示された。