要点メモ
線形回帰
-
線形回帰モデル
- 線形結合：説明変数とパラメータベクトルの内積＋接点 出力は1次元となる
- パラメータをどのように推定するか→最小二乗法or最尤法
- yの上についている^は「ハット」 予測値を意味する
-
データ分割/学習
- 最小二乗法：学習データの平均二乗誤差を最小とするパラメータを推定
- 最小化＝勾配が0となる値
- パラメータの決定式が説明変数と目的変数のみであれば数学的手法で計算可能
ハンズオン
非線形回帰
-
非線形回帰
- 現実には線形回帰する問題は少なく、非線形な問題を捉える必要がある
- 線形回帰との違い：基底関数を説明変数に掛けることで特徴空間にとばす
- パラメータの推定は線形回帰と同様の手法が使用可能
- 基底関数
- 多項式関数
- ガウス型基底関数：正規分布の集まり
-
正則化法
- 過学習：テスト誤差が大きい・・テストに強いが本番(未知のデータ)に弱い
- 複雑なモデルを適用すると発生しがち
- 正則化法：過学習を回避する方法 モデルの複雑さに伴いペナルティを課す
- リッジ推定：MSEの値をパラメータ空間の原点に近い所(0)に近づける
- ラッソ推定：MSEの値をパラメータの一部を0になるように近づける→次元削減
-
モデル選択
- 適切なモデルを選択するために性能評価を行う そのために訓練データ、テストデータの確保が必要
- ホールドアウト法：訓練データとテストデータを分割 大量データでない限り性能評価の制度は悪い
- クロスバリデーション(交差検証)：すべてのデータを訓練データ、テストデータに使用可
ロジスティック回帰
-
ロジスティック回帰
- ロジスティック回帰モデルは分類問題を解くモデル
- 出力関数にシグモイド関数を適用し、結果が必ず0〜1になる→0.5以上なら
- シグモイド関数のパラメータで勾配を調整
- 出力結果を確率で表し、結果が0.5以上なら1、それ未満なら0として分類問題を推定
-
最尤推定
- 尤度：結果から分布のパラメータがどれほど有り得そうかを表したもの
- 最尤推定とは尤も有り得そうなパラメータを推定する手法
-
勾配降下法
- 最尤法では解析的にパラメータを求めるのが困難
- 勾配降下法：学習によりパラメータを更新し、最適値を求める手法
-
確率的勾配法
- 勾配降下法はパラメータ更新に計算量を要する
- 確率的勾配法：ランダムにデータを１つ選び更新 勾配降下法はN個のデータにつき1回更新するところを確率的勾配法では1個のデータにつき１回で更新できる
- ミニバッチ勾配降下法：一定数のデータの集まりを１つの学習単位として更新 データ１個の計算よりも計算が高速に
-
モデルの評価
- 適切なモデルを選択するために性能評価を行う
- 正解率：予測に対する結果が正しいかどうかの指標
- 適合率：見逃しを許容し、誤判定を許容しない場合の指標(迷惑メール)
- 再現率：見逃しを許容せず、誤判定を許容する場合の指標(がん検診)
- F値：適合率と再現率はトレードオフのため、見逃しと誤判定の最適値を適用する際の指標
- 適切なモデルを選択するために性能評価を行う
ハンズオン
主成分分析
1.主成分分析
- 主成分分析:大量データの構造を捉える手法
- 情報量を保ちつつ、次元圧縮する→分散が最大となる方向に線形変換
- 分散値＝固有値
アルゴリズム
1.K近傍法/K平均法
- K近傍法:分類問題のための手法
- K平均法:クラスタリング手法
- Kの値はどちらも事前に決定、大きさにより結果も変わる
⇒詳しい手順は演習で覚える