More than 1 year has passed since last update.

統計科学輪講 [The Elements of Statistical Learning]

  • これは慶応義塾大学数理科学科 - 火2統計科学輪講で使う資料です。

--- 記号まわりを中心にちょっと整理... ---

$K$個のクラス、たとえば ${\cal G} = \{1,2...,K\}$ があって、$\boldsymbol{x} \in \mathbb{R}^p$ を引数にとって $1, 2, ... K$ を返してくれるような関数 $\hat{G}(\boldsymbol{x})$($\hat{G}(\boldsymbol{x})\in {\cal G}$)を$N$個の学習データから構築したい。学習データは$N\times(p+1)$行列$\boldsymbol{X}$ と$N\times K$行列の$\boldsymbol{Y}$(指示行列)として与えられている。

N個の学習データはそれぞれのデータを列に格納したN*(p+1)行列XとN*K行列Yとして与えられている。

今回新たに登場登場

各クラス毎に線形回帰を行い

\hat{f}_k(\boldsymbol{x}) = \hat{\beta}_{k0}
 + \hat{\boldsymbol{\beta}}_{k}^T \boldsymbol{x}

を得れば

\hat{G}(\boldsymbol{x}) = argmax_{k \in {\cal G}}( \hat{f}_k(\boldsymbol{x}))

としてひとまず $\hat{G}(\boldsymbol{x})$ を得ることが出来る、が改善の余地がありそう。

そこで...

Gˆ(x) = argmax fˆ (x).

$\hat{f}k(x) = x{y^2}$
...おこあしい!

fˆ (x) = βˆ + βˆT x.

$\pi_k$...事前確率,

...N_k/N: 事前確率、クラスkがどのくらいの割合で含まれているか

G(x)...