機械学習

第1章 線形回帰モデル

1. 回帰問題
   • ある入力(離散あるいは連続値)から出力(連続値)を予測する問題
   • 線形回帰は1本の直線で予測する。
   • 非線形回帰は曲線で予測する。
2. 扱うデータ
   • 入力(各要素のことを説明変数or特徴量)
   • 出力(目的変数)
3. 線形回帰モデルとは
   • 機械学習の１つで回帰問題を解くためのモデルのこと。
   • 教師あり学習である。
4. 線形結合
   • 入力とパラメータの内積のこと。
   • 入力ベクトルとの線型結合に切片も加えたもの。
5. モデルのパラメータ
   • 推定が必要な道のパラメータのこと。←最小二乗法を用いて推定
   • 予測値にどのような影響を与える特徴量であるかを決める重みの集合のこと。
6. 単回帰モデル
   • 説明変数が1次元の回帰モデルのこと。
   • 図は直線を表す。
   • データは回帰直線に誤差が加えられ、観測されていると仮定する。
7. 重回帰モデル
   • 説明変数がn次元の回帰モデルのこと。
   • 図は曲面を表す。
   • データは回帰局面に誤差が加えられ、観測されていると仮定する。
8. 平均二乗誤差(残差平方和・MSE)
   • データとモデル出力の二乗誤差の和のこと。
   • パラメータのみに依存する関数である。(データは既知でパラメータのみ未知の値)
9. 最小二乗法
   • 学習データの平均二乗誤差を最小とするパラメータを探す方法のこと。
   • 勾配が0になる点を求める。
10. 線形回帰モデル　実装演習

第2章 非線形回帰モデル

1. 基底関数
   • 関数空間の基底ベクトルのこと。
   • 既知の非線形関数のこと。
2. 基底展開法
   • 基底関数とパラメータベクトルの線型結合を使用する。
   • 未知パラメータは線形回帰モデルと同様に最小二乗法や最尤法により推定する。
3. 未学習
   • 学習データに対し、十分小さな誤差が得られないモデルのこと。
4. 過学習
   • 小さな誤差は得られたが、テスト集合誤差との差が大きいモデルのこと。
5. 汎化性能
   • 学習に使用していない新しい入力にたいする予測性能のこと。
6. ホールドアウト法
   • 所持しているデータを学習用と検証用の2つに分割し、「予測精度」や「誤り率」を推定するために使用する。
7. クロスバリデーション(交差検証)
   • 所持しているデータを学習用と検証用の2つに分割し、違う組み合わせの分割方法をn通り使い、解析の妥当性の検証や確認を行う手法のこと。
8. グリットサーチ
   • モデルの精度を向上させるために全てのパラメータの組み合わせを試してみる方法のこと。
9. 非線形回帰モデル　実装演習

第3章 ロジスティック回帰モデル

1. 分類問題(クラス分類)
   • ある入力(数値)からクラスに分類する問題のこと。
2. 扱うデータ
   • 入力(各要素のことを説明変数or特徴量)
   • 出力(目的変数)←0か1の値
3. ロジスティック回帰モデル
   • 分類問題を解くためのの回帰モデルのこと。
   • 教師あり学習の1つである。
4. シグモイド関数
   • 入力は実数であり、出力は0〜1の値をとる。
   • 単調増加関数である。
   • シグモイド関数の微分は、シグモイド関数自身で表現することが可能である。
   • 尤度関数の微分をする際にシグモイド関数を有効利用することができる。
5. 連鎖律
   • 微分法において、複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式のこと。
6. 最尤推定
   • 統計学において、与えられたデータからそれが従う確率分布の母数を点推定する方法のこと。
   • データからそのデータを生成したであろう尤もらしい分布(パラメータ)を推定する。
   • 尤度関数を最大化するようなパラメータを選ぶ推定方法のこと。
7. 尤度関数
   • 統計学において、ある前提条件に従って結果が現れる場合に、逆に観察結果からみて前提条件が「何々であった」と推測する尤もらしさを表す数値を、「何々」を変数とする関数のこと。
8. 勾配降下法
   • 重みを少しずつ更新していき、勾配が最小になる点を探すアルゴリズムのこと。
9. 確率的勾配降下法(SGD)
   • データを1つずつランダムに選んでパラメータを更新していくアルゴリズムのこと。
10. ロジスティック回帰モデル　実装演習

第4章 主成分分析

1. 主成分分析とは
   • 多次元データのもつ情報をできるだけ損わずに低次元空間に情報を縮約する方法のこと。
   • 次元の縮約により、情報の損失が発生する。
2. ラグランジュの未定乗数法
   • 束縛条件のもとで最適化を行うための数学的な方法のこと。
3. 分散共分散行列
   • 統計学と確率論において、ベクトルの要素間の共分散の行列のこと。
4. 相関行列
   • 相関係数を並べたもので対称行列である。
5. 正値対称行列(正定値対称行列)
   • 固有値がすべて正の対称行列のことを正値対称行列のこと。
6. 寄与率
   • 第k主成分の分散の全分散に対する割合のこと。
7. 累積寄与率
   • 第1-k主成分まで圧縮した際の情報損失量の割合のこと。
8. 主成分分析　実装演習

第5章 k-means

1. k-means(k-平均法)
   • クラスタリング(特徴の似ているもの同士をグループ化)手法である。
   • 教師なし学習である。
   • 与えられたデータをk個のクラスタに分類する手法である。
   • 中心の初期値を変化させるとクラスタリング結果も変わりうる。
   • kの値を変えるとクラスタリング結果も変わる。
2. アルゴリズム
   • ①各クラスタ中心の初期値を設定する。
   • ②各データの点に対し、各クラスタの中心との距離を計算し、最も距離が近いクラスタを割り当てる。
   • ③各クラスタの平均ベクトル(中心)を計算する。
   • ④収束するまで②、③の処理を繰り返す。
3. k-means　実装演習

第7章 サポートベクターマシーン

1. サポートベクタ〜マシン(SVM)
   • 機械学習において、2クラス分類のための手法のこと。
   • 線形モデルの正負で2値分類を行うこと。
   • 線形判別関数富もっtも近いデータの点との距離をマージンという。
   • マージンが最大となる線形判別関数を求めること。
2. ラグランジュの未定乗数法
   • 束縛条件のもとで最適化を行うための数学的な方法のこと。
3. カルーシュ・クーン・タッカー条件(KKT)
   • 非線形計画において、一階導関数が満たすべき最適条件のこと。
4. 双対問題(そうつい)
   • 数学において、最適化問題における主問題の補問題のこと。
5. ソフトマージン法
   • データが綺麗に分離していなくても適用ができ、適用範囲も広い。
   • 線形分離できない場合でも対応。
6. ハードマージン法
   • データが綺麗に分離していなくても適用ができ、適用範囲も広い。
   • 線形分離できない場合でも対応。
7. カーネルトリック
   • カーネル関数を使って、計算複雑度の増大を抑えつつ内積にもとづく解析手法を高次元特徴空間へ拡張するアプローチのこと。
8. サポートベクターマシン(SVM)　実装演習