DeepRunning ～Level4.1.1～

#Level４．機械学習講座（理論と実践）
##・学習の目的
　　(1)機械学習の基本的な手法を理解し実装する。
　　　◇線形回帰
　　　◇ロジスティック回帰
　　　◇主成分分析
　　　◇Ｋ平均法など
　　(2)機械学習モデリングの流れを理解する。

##・機械学習モデリングプロセス（プロセスは深層学習でも同じ）
　　(1)問題設定　　　　　　　　　　　　：　どのような課題を機械学習に解決させるか
　　(2)データ選定　　　　　　　　　　　：　どのようなデータを使うか
　　(3)データの前処理　　　　　　　　　：　モデルに学習させられるようにデータを変換
　　(4)機械学習モデルの選定　　　　　　：　どの機械学習モデルを利用するか
　　(5)モデルの学習（パラメータ推定）　：　パラメータの決め方
　　(6)モデルの評価　　　　　　　　　　：　ハイパーパラメータの選定、モデル精度を測る
　　※必ずしも機械学習！！というわけではない。デメリットとして技術的負債が大きい。
　　　⇒運用者が開発したソリューションを理解して運用できないことがある。
　　※機械学習モデル･･･「分類」「予測」「クラスタリング」
　　　　　　　　　　　　アンサンブルで活用することが多い。

##・ルールベースモデルと機械学習モデル
　　●機械学習　･･･　コンピュータプログラムは、タスクTを性能指標Pで測定し、
　　　　　　　　　　その性能が経験Eにより改善される場合、タスクTおよび性能指標Pに
　　　　　　　　　　関して経験Eから学習すると言われている。
　　　　　　　　　　　　　　　　　　　　　　　　　　　（トム・ミッチェル　1997）

##4-1.線形回帰モデル
###4-1-1.回帰問題
　　●ある入力（離散あるいは連続値）から出力（連続値）を予測する問題。
　　　直線で予測する場合　･･･　線形回帰
　　　曲線で予測する場合　･･･　非線形回帰

###4-1-2.回帰で扱うデータ
　　(1)入力　･･･　各要素を“説明変数”または“特徴量”と呼ぶ
　　　　●m次元のベクトル（m=1の場合はスカラ）
　　(2)出力　･･･　目的変数
　　　　●ベクトルではなくスカラー値で扱う。

　　【説明変数】$\boldsymbol{x} =(x_1,x_2,･･･,x_m)^{T} \in Ｒ^m$
　　　　　　　⇒m個のエレメントが含まれている。
　　　　　　　　トランスポート(T)で横表記にしている。

　　【目的変数】$y \in R^1$
　　　　　　　⇒スカラーの実数値空間上の表記。

###4-1-3.線形回帰モデル
　　●回帰問題を解くための機械学習モデルの一つ
　　●教師あり学習　･･･　ある説明変数と目的変数の組み合わせ
　　●入力とm次元パラメータの線形結合を出力するモデル【定義】
　　　⇒慣例として予測値にはハット（＾）を付ける（正解データと区別）

　　【パラメータ】$\boldsymbol{w}=(w_1,w_2,･･･,w_m)^{T} \in Ｒ^m$
　　【線形結合】$\hat y = \boldsymbol{w}^T\boldsymbol{x}＋w_0 = \sum_{j=1}^{m}w_jx_j＋w_0$
　　　　　　　　⇒内積を考える。
　　　　　　　　　$\hat y$は予測値であることが分かるようにハットを付ける。

###4-1-4.線形結合（入力とパラメータの内積）
　　●入力ベクトルと道のパラメータの各要素を掛け算し、足し合わせたもの。
　　●入力ベクトルとの線形結合に加え、切片も足し合わせる。
　　●出力は1次元（スカラ）となる。

###4-1-5.モデルのパラメータ
　　●モデルに含まれる推定すべき未知のパラメータ
　　●正の重みをつける　･･･　特徴量の値を増加させると、予測の値が増加
　　●負の重みをつける　･･･　特徴量の値を増加させると、予測の値が減少
　　●重みが大きい　･･･　特徴量は予測に大きな影響力を持つ
　　●重みが0　　　･･･　特徴量は予測に全く影響しない

###4-1-6.線形回帰モデル
　　●説明変数が1次元の場合（m=1）　･･･　単回帰モデル
　　●データへの仮定　･･･　データは回帰直線に誤差が加わり観測されていると仮定

　　【モデル数式】$y = w_0＋w_1x_1＋ε$
　　　　目的変数　：y
　　　　説明変数　：$x_1$
　　　　回帰係数　：$w_1$
　　　　切片　　　：$w_0$
　　　　誤差　　　：$ε$

###4-1-7.連立方程式
　　●それぞれのデータをモデル式へ当てはめるとn個の式が導出される。
　　　⇒連立方程式で計算する。行列表現でまとめて計算する。

###4-1-8.線形回帰モデル（多次元）
　　●説明変数が多次元の場合（m>1）　･･･　線形重回帰モデル
　　●データへの仮定　･･･　データは回帰曲面に誤差が加わり観測されていると仮定

　　【モデル数式】$y = w_0＋w_1x_1＋w_2x_2＋ε$
　　　　目的変数　：y
　　　　説明変数　：$x_1、x_2$
　　　　回帰係数　：$w_1、w_2$
　　　　切片　　　：$w_0$
　　　　誤差　　　：$ε$

###4-1-9.データの分割とモデルの汎化性能測定
　　●データの分割
　　　【学習用データ】機械学習モデルの学習に利用するデータ
　　　【検証用データ】学習済みモデルの精度を検証するためのデータ
　
　　●なぜ分割するのか？
　　　・モデルの汎化性能（Generalization）を測定するため
　　　・未知のデータに対して精度がどのくらい高いかを測定する
　　　・学習用⇒train、検証用⇒test

　　●汎化性能
　　　学習用データと別のデータで検証し、モデルが未来のデータにどの程度FITするか。

###4-1-10.線形回帰モデルのパラメータは「最小二乗法」で推定
　　●平均二乗誤差（誤差平方和）
　　　・データとモデル出力の二乗誤差の和
　　　・パラメータのみに依存する関数
　　　　⇒データは既知の値でパラメータのみ未知

　　●最小二乗法
　　　・学習データの平均二乗誤差を最小とするパラメータを探索
　　　・最小化は、勾配が0になる点を求めれば良い

　　【回帰係数】
　　　　$\boldsymbol{w}=(X^{(train)^T}X^{(train)})^{-1}X^{(train)^T}\boldsymbol{y}^{(train)}$

　　【予測値】
　　　　$\boldsymbol{\hat y}=X(X^{(train)^T}X^{(train)})^{-1}X^{(train)^T}\boldsymbol{y}^{(train)}$