統計科学輪講 [The Elements of Statistical Learning]
- これは慶応義塾大学数理科学科 - 火2統計科学輪講で使う資料です。
--- 記号まわりを中心にちょっと整理... ---
$K$個のクラス、たとえば ${\cal G} = \{1,2...,K\}$ があって、$\boldsymbol{x} \in \mathbb{R}^p$ を引数にとって $1, 2, ... K$ を返してくれるような関数 $\hat{G}(\boldsymbol{x})$（$\hat{G}(\boldsymbol{x})\in {\cal G}$）を$N$個の学習データから構築したい。学習データは$N\times(p+1)$行列$\boldsymbol{X}$ と$N\times K$行列の$\boldsymbol{Y}$（指示行列）として与えられている。
N個の学習データはそれぞれのデータを列に格納したN*(p+1)行列XとN*K行列Yとして与えられている。
今回新たに登場登場
各クラス毎に線形回帰を行い
\hat{f}_k(\boldsymbol{x}) = \hat{\beta}_{k0}
+ \hat{\boldsymbol{\beta}}_{k}^T \boldsymbol{x}
を得れば
\hat{G}(\boldsymbol{x}) = argmax_{k \in {\cal G}}( \hat{f}_k(\boldsymbol{x}))
としてひとまず $\hat{G}(\boldsymbol{x})$ を得ることが出来る、が改善の余地がありそう。
そこで...
Gˆ(x) = argmax fˆ (x).
$\hat{f}k(x) = x{y^2}$
...おこあしい！
fˆ (x) = βˆ + βˆT x.
$\pi_k$...事前確率,
...N_k/N: 事前確率、クラスkがどのくらいの割合で含まれているか
G(x)...