はじめに
初めまして。m0rio0818です。機械学習の勉強を最近はじました。
まだ手探り状態ですが、ここに忘備録として、残していきたいと思います。
SNS全般苦手で、初めても続かなかったのですが、頑張って投稿を続けていきいです。
独学で勉強をしており、誤りなどあると思います。ご指摘していただければ、嬉しいです。
最小2乗法
まず、最小2乗法について、軽く触れたいと思います。
機械学習の回帰分析では最小2乗法という理論を用いて、計算式が作られます。
最小2乗法のイメージとしては、プロットをとり、各データの中間を通る直線を引きます。
その直線式を y = ax + b とします。とりあえず、イメージをするために、適当に直線を引いてみました。
下にイメージ図を載せます。
この予測と実際には、ズレが生じています。
この直線と各点との誤差を上図の e1, e2, e3, e4, e5 とします。
その誤差を2乗し、5で割ります。
E = \frac{e1^2 + e2^2 + e3^2 + e4^2 + e5^2}{5}
この誤差Eが小さければ小さいほど、良い回帰直線と言えます。
また、最小2乗法には、予測式(回帰式)を作る際、a,bには制約を設けていません。
リッジ回帰
次にリッジ回帰についてです。リッジ回帰は先ほど述べた、最小2乗法を少し変えたものです。
具体的には、
・最小2乗法は 誤差Eのみについて取り扱った。
・リッジ回帰では、誤差Eに加えて、係数の2乗を足したものFを考えます。Fのことを「正則化項」とも呼びます。
F = {a^2 + b^2}
そして、 L = E + F として、Lが最小になるような係数aとbを算出します。
実際には、 L = E + 0.2 × F のように、正則化項を定数倍にすることで、Fの影響度を調整することができる。
リッジ回帰は、正則化された線形回帰の一つで、線形回帰に「学習した重みの2乗を加えたもの」である。
また、リッジ回帰によって過学習を防ぐことができる。
最後に
以下の参考文献を活用しました。
リッジ回帰がどのようなものか少し理解できました。
次回はリッジ回帰の実装を行っていきたいと思います。
参考文献
書籍
スッキリわかるpythonによる機械学習