機械学習
インプットとなるデータをもとに、プログラムがルールや知識を自分で学習する
学習させることにより特定のタスクを実行可能にする
⇒ 未知のものに対する判断・予測をする
学習には時間が掛かり、タスクの実行には時間が掛からない
タスクに使用する情報（特徴量）は人間が教える必要がある
教師あり学習
教師（人間）入力データと出力データ（特徴量と正解）をセットで渡して学習させモデルを作成する
分類
故障する、故障しない／生存できる、生存できない など分類する
目的変数がカテゴリ
ロジスティック回帰
決定木
ランダムフォレスト
SVM(サポートベクターマシン)
- カーネル法
- カーネルトリック
回帰
明日の気温、1ヶ月後の売り上げなど、数値を予測する
目的変数が数量
線形回帰
単回帰式： $ y=ax+b $
重回帰式： $ y=a_1x_1+a_2x_2+a_3x_3+・・・+b $
以下の手法で、$ a $、$ b $を推定
最小二乗法
残差平方和$ \sum(y-\hat{y})^2 $が最小になる$ a $と$ b $を求める
$ y $は実測値
$ \hat{y} $は予測値
手順
① $ x $ の偏差平方和($ S_{xx} $)・ $ y $ の偏差平方和($ S_{yy} $)・$ x $と$ y $の偏差平方和($ S_{xy} $)を求める
\begin{align}
S_{xx} &= \sum^n_{i=1}(x_i-\bar{x})^2\\
S_{yy} &= \sum^n_{i=1}(y_i-\bar{y})^2\\
S_{xy} &= \sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})\\
\end{align}
② 残差平方和($ S_e $)を求める
\begin{align}
S_{e} &= \sum^n_{i=1}(y_i-\hat{y})^2
\end{align}
③ 残差平方和($ S_e $)を$ a $と$ b $について微分し、$ 0 $とおいて $ a $と$ b $を求める
\begin{align}
a &= \frac{S_{xy}}{S_{xx}}\\
b &= \bar{y}-\bar{x}a
\end{align}
教師なし学習
教師（人間）が入力データを渡してデータの一定のパターンやルールを抽出する
データの共通点を見つけてクラスタに分けたり、頻出パターンの抽出を行う
クラスタリング
k-means
LDA
頻出パターンマイニング
アソシエーション分析
次元圧縮
主成分分析
深層学習
機械学習のニューラルネットワークの階層を深くしたもの
機械学習のときに人間が渡していた特徴量を機械自体が学習する