の演習問題を解いているが解答が本書内にもネット上にもない模様。自分の解答を晒して間違いにツッコミをいただき理解を深めようという試み。
第4章
- 問4.1
- (a)
\begin{align}
\rm{J}(z)&=\|x_1-z\|^2+\cdots+\|x_L-z\|^2\\
&=\Sigma_{i=1}^L{\|x_i-z\|^2}\\
&=\Sigma_{i=1}^L{\|x_i-\bar{x}-(z-\bar{x})\|^2}\\
&=\Sigma_{i=1}^L{(\|x_i-\bar{x}\|^2-2(x_i-\bar{x})^\top(z-\bar{x})+\|z-\bar{x}\|^2)}\\
&=\Sigma_{i=1}^L{(\|x_i-\bar{x}\|^2-2(x_i-\bar{x})^\top(z-\bar{x}))+L\|z-\bar{x}\|^2}
\end{align}
-
- (b)
\begin{align}
\Sigma_{i=1}^L{(x_i-\bar{x})^\top(z-\bar{x})}&=(\Sigma_{i=1}^L{(x_i-\bar{x}}))^\top(z-\bar{x})\\
\Sigma(x_i-\bar{x})&=0より与式は成り立つ
\end{align}
-
- (c)
\begin{align}
&(a), (b)より、\\
\rm{J}(z)&=\Sigma_{i=1}^L{\|x_i-\bar{x}\|^2}+L\|z-\bar{x}\|^2\\
&z\ne \bar{x}のとき\\
\rm{J}(z)&=\Sigma_{i=1}^L{\|x_i-\bar{x}\|^2}より\\
\rm{J}(z)&\gt\rm{J}(\bar{x})
\end{align}
- 問4.2
- (a)
\|x_i-z_{c_i}\|\\
z_jが負であるとすると、\\
\|x_i-z_j\|よりも\|x_i-\mathbf{0}\|の方が小さくなるのでz_jが負であることは矛盾\\
よってz_jは非負
-
- (b)
\begin{align}
代表は&元のベクトルの平均であるので、\\
z_j&=\Sigma_{i=1}^N{\frac{x_i}{N}}\\
xを&j=1, \cdots, Mクラスに分けたとすると\\
\Sigma_{j=1}^M{z_j}&=\Sigma_{j=1}^M{(\Sigma_{i=1}^N{\frac{x_i}{N}})}\\
&=1\\
また、&(a)からz_jは非負。\\
よって、&z_jは要素が全て非負で、総和が１
\end{align}
-
- (c)
x_i=(0, 0, 1, 0, 1, 1, 0, \cdots)\\
jクラスの要素ベクトルのi番目の要素の平均値。（自信なし）
- 問4.3
\begin{align}
クラス1に属するベクトルをx_i\{i\in G_1\}\\
クラス２に属するベクトルをx_j\{j\in G_2\}とする。\\
\|x_i-z_1\|^2-\|x_i-z_2\|^2&\le0\\
\|x_j-z_1\|^2-\|x_j-z_2\|^2&\ge0\\
\|x_i\|^2-2z_ix_i+\|z\|^2-\|x_i\|^2+2z_2x_i-\|z\|^2&\le0\\
-2(z_1-z_2)x_i+\|z_1\|^2-\|z_2\|^2&\le0\\
同様に
-2(z_1-z_2)x_j+\|z_1\|^2-\|z_2\|^2&\ge0\\
2(z_1-z_2)&=w\\
-\|z_1\|^2+\|z_2\|^2&=vとおくと\\
w^\top x_i+v\ge0\\
w^\top x_j+v\le0\\
\end{align}
- 問4.4
例示を用いると、x_{27}をグループ５の代表ベクトルとする。\\
患者のn個の特徴から疾患が特定できるような場合。