#はじめに
本記事は、E資格の受験資格の取得を目的としたラビットチャレンジを
受講した際の勉強記録およびレポート記事である。

主成分分析

##主成分分析
多変量データの持つ構造をより少数個の指標に圧縮する分析手法。
少数変数を利用した分析や可視化（２・３次元の場合）が実現可能。

学習データ：$ \smash{ \boldsymbol{x}_{i} = (x_{i1}, x_{i2}, ... , x_{im}) \in \mathbb{R}^{m} } $

平均（ベクトル）：$ \smash{ \bar{\boldsymbol{x}} = \dfrac{1}{n} \sum_{i=1}^{n}\boldsymbol{x}_{i} } $

データ行列：$ \smash{ \bar{\boldsymbol{X}} = (x_{1} - \bar{x}, x_{2} - \bar{x}, ... , x_{n} - \bar{x})^{T} \in \mathbb{R}^{ n \times m} } $

分散共分散行列：$ \smash{ \Sigma = Var(\bar{\boldsymbol{X}}) = \dfrac{1}{n}\bar{\boldsymbol{X}^{T}}\bar{\boldsymbol{X}} } $

線形変換後のベクトル：$ \smash{ \boldsymbol{s}_{j}=(s_{1j}, \cdots ,s_{nj})^{T} = \bar{\boldsymbol{X}} \boldsymbol{a}_{j} } $　　　$ \boldsymbol{a}_{j} \in \mathbb{R}^{m} $

線形変換後の分散：$ \smash{ Var(\boldsymbol{s}_{j}) = \dfrac{1}{n}\boldsymbol{s}_{j}^{T}\boldsymbol{s}_{j} = \dfrac{1}{n}(\bar{\boldsymbol{X}}\boldsymbol{a}_{j})^{T}(\bar{\boldsymbol{X}}\boldsymbol{a}_{j}) = \dfrac{1}{n}\boldsymbol{a}_{j}^{T}\bar{\boldsymbol{X}}^{T}\bar{\boldsymbol{X}}\boldsymbol{a}_{j} = \boldsymbol{a}_{j}^{T} Var(\bar{X})\boldsymbol{a}_{j} } $

##ラグランジュ関数
ラグランジュ関数：$ \smash{ E(\boldsymbol{a}_{j}) = \boldsymbol{a}_{j}^{T} Var(\bar{X})\boldsymbol{a}_{j} - \lambda(\boldsymbol{a}_{j}^{T}\boldsymbol{a}_{j} - 1) } $

##課題
32次元のデータを2次元上に次元圧縮した際に、うまく判別できるかを確認。

■結果
乳癌検査データ。特徴量30でロジスティック回帰を行ったところ、97％の精度で分類できることが確認された。２次元まで削減したところ、主成分寄与率約0.43、第２成分寄与率約0.19、累積寄与率約0.62となっている。
2次元に可視化しても分離できていると考えられる。

k近傍法(kNN:k-Nearest Neighbor)

分類問題のための機械学習手法。
最近傍のデータをk個取ってきて、それらが最も多く所属するクラスに識別。

##課題
人口データと分類結果をプロットしてください。

■結果
numpyでの実装、scikit-learnでの実装ともに同様の結果が出ていることがわかる。

#k-平均法(k-means)
教師なし学習。
クラスタリング手法。
与えられたデータをk個のクラスタに分類する。

####k平均法のアルゴリズム

各クラスタ中心の初期値を設定する。
各データ点に対して、各クラスタ中心との距離を計算し、最も距離が近い
　　クラスタを割り当てる。
各クラスタの平均ベクトル（中心）を計算する。
収束するまで2、3の処理を繰り返す。

##ハンズオン
■結果

#サポートベクターマシン(SVM)
２クラス分類のための機械学習手法。
線形モデルの正負で２値分類。

##ハンズオン
■結果

以下の場合について実施している。

線形分離可能な場合
線形分離不可能な場合
ソフトマージン