元ネタ

https://qiita.com/tomomoto/items/b3fd1ec7f9b68ab6dfe2
機械学習を数学で理解したいので頭の整理として，お勉強のメモとして重要な式だけまとめていきます．

手法

回帰

線形回帰

最小二乗法　　

当てはめたい関数： $ f(x) = ax+b $
一般形：$ f(x) = \boldsymbol{w}^T\boldsymbol{x} $　※切片含む
最小化したい評価関数： $ J = \sum_{i=1}^{n}(y_i - f(x_i))^2 $
計算方法：

a = \frac{n\sum_{k=1}^{n}x_ky_k-\sum_{k=1}^{n}x_k\sum_{k=1}^{n}y_k}{n\sum_{k=1}^{n}x^2_k-(\sum_{k=1}^nx_k)^2}

b = \frac{\sum_{k=1}^nx^2_k\sum_{k=1}^ny_k-\sum_{k=1}^{n}x_ky_k\sum_{k=1}^{n}x_k}{n\sum_{k=1}^{n}x^2_k-(\sum_{k=1}^nx_k)^2}

多次元も同様な考え．
参考文献：
https://qiita.com/Ushio/items/0411b0db1ed36d398bbf
https://ja.wikipedia.org/wiki/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%97%E6%B3%95
https://mathtrain.jp/leastsquares

最尤推定

最尤推定とは：$ \frac{\partial}{\partial x} \log {L(\boldsymbol{w})} = 0 $

最大化したい尤度関数：

L(\boldsymbol{w}) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp(-\frac{(y_i - f(x_i))^2}{2\sigma^2})

ロジスティック回帰

予測モデルをロジスティック関数を使って作成
ロジスティック関数：

\sigma(t) = \frac{1}{1+\exp^(-t)}

当てはめたい関数：

f(x) = \frac{1}{1+\exp(-\boldsymbol{w}^T\boldsymbol{x})}

最大化したい尤度関数：

L(\boldsymbol w)  = - \prod_{i=1}^N P(C=t_i|\boldsymbol x_i) \\
where \quad　P(C=t_i|\boldsymbol x_i) = f(x_i)^t(1-f(x_i))^{1-t}

更新方法： (tは教師信号)

\boldsymbol w^{t+1} = \boldsymbol w^{t} - \alpha * \frac{\partial L}{\partial \boldsymbol w^{t}} \\
where \quad \frac{\partial L}{\partial \boldsymbol w} = - \sum_{i=1}^{N}(f(x_i)-t_i)\boldsymbol x_i

参考文献：
https://dev.classmethod.jp/business/business-analytics/alteryx-advent-calendar-11-logistic-regression/
https://dev.classmethod.jp/machine-learning/logistic-regression-impl/

サポートベクターマシーン

分類する線形モデル： $ g(x) = \boldsymbol{w}^T\boldsymbol{x} + b $
分類器：　$ f(x) = sgn(g(x)) =$ -1 or 1
最小化したい関数：

\frac{2}{\|\boldsymbol w\|}

木

決定木

C4.5：
目的関数（と呼ぶのかな？）：エントロピーを最大化させるような説明変数を順に親ノードとして選択していく

\Delta I_H(t) = I_H(t_B) - \sum_{i=1}^{b}w_iI_{H_i}(t_{A_i})

CART：
目的関数：ジニ係数を大化する説明変数を順に親ノードとして選択していく

I_G(t) = 1 - \sum_{i=1}^{c}p(i|t)^2

参考文献：https://qiita.com/3000manJPY/items/ef7495960f472ec14377
実装：http://darden.hatenablog.com/entry/2016/12/15/222447

NN

Perceptron

線形な関数を組み合わせて，最小二乗法で最適化している
フィッティングさせたい関数：$ f(x) = \boldsymbol{w}^T\boldsymbol{x} $
最小化させたい関数：$ J = \sum_{i=1}^{n}(y_i - f(x_i))^2 $

MLP (Multi-Layered Perceptron)

各ニューラルをシグモイド関数$g(\boldsymbol{w}^T\boldsymbol{x})=\frac{1}{1+\exp(-\boldsymbol{w}^T\boldsymbol{x})}$で表すことで各点において2値分類が可能に．
全体としてみると，複数の値に分類することが出来る．
つまりは，多次元によるロジスティック回帰としてみなせるのでは？
誤差に二乗を逆伝搬することで最適化しているので最小二乗法やSVMに似ている．

以下特に最適化のような式が出てこないので雑に扱っていきます．

　ベイズ

ベイズ推定を使った分類.確率を勉強していたらわかるでしょう．

時系列

ARIMAモデルなど

クラスタリング　(k-means法）

アンサンブル

母集団\theta から n個の集団$\hat{\theta}$を選んできて，それぞれの集団に学習をかける
弱学習機をn個作成して，これらをがっちゃんこ．
判別ならその中で最大のものargmax
回帰の場合は平均値．
ここらへんの設計も工夫次第だと思います．

どれ使うか困っている時．