主成分分析
主成分分析
- 複数の変数を持つデータに対して、なるべく情報量を減らさずに変数の数を減らす手法。変数を減らすことでデータと可視化などが可能になる。
学習データの分散が最大になる方向への線形変換を行う。つまり線形変換したときに分散が最大となるベクトルを求める必要がある。
上記の最適化問題はラグランジュ関数を最大化する係数ベクトルを求めるのと同義のため、ラグランジュ関数の係数ベクトルでの微分が0になるときの係数ベクトルの値を求める。ラグランジュ関数とは制約付きの最適化問題を解くときに、最適化したい関数に制約式を加えた関数のことを言う。
上記の解は入力データの分散共分散行列に関する固有値と固有ベクトルの式と一致する。したがって入力データの分散共分散行列の固有値と固有ベクトルを求めることで、求めたいベクトルを求めることができる。
線形変換後の分散の値は固有値と一致する
第2主成分は上記のベクトルと直行するベクトルとなる。
主成分
- 最も大きい固有値に対応する固有ベクトルで線形変換された変数を第一主成分と呼ぶ。
- k番目の固有値に対応する固有ベクトルで線形変換された変数を第k主成分と呼ぶ。
寄与率
- 変換された特徴量の分散は固有値に一致するので、全分散量は元のデータの持つ全分散量と一致する。
- 全分散に対して第k主成分の分散が占める割合を第k主成分の寄与率と呼ぶ。これは第k主成分が持つ情報量の割合を表す。
- 第k主成分までの累積寄与率を求めることで、どこの次元までの主成分を使うかを判断できる。
