概要
自分、統計にかんしてまったくの素人なんですが、
パソコン雑誌に、「リッジ回帰」という単語がでてきて、
なんのことやら、さっぱりわからなかったので、wikiとかで、しらべて、
みると、その解説も、さっぱり。。。というわけで、わかるまで、
しらべてみた結果をまとめた記事です。
記事について
パソコン雑誌、日経ソフトウェア2019年01月号 082page
回帰分析とは
回帰分析とは、説明変数 によって目的変数 の変動を y = f ( x ) の形でどの程度説明できるかを分析する手法です。
重回帰分析
- 重回帰分析は、多変量解析の一つです。
- 回帰分析において独立変数が2つ以上のものです。
- 独立変数が1つのものを単回帰分析といいます。
直線回帰とは
直線回帰は重回帰分析の最も単純な場合です。
ノルムとは
ノルムとはいろいろなものの「大きさ」を表す量です。
L2 ノルム
高校数学でも扱う「普通の意味での長さ」です。ユークリッドノルムとも言います。
二乗して、ルートをとるやつです。
L1 ノルム
|x1|+|x2|+⋯+|xn|
各成分の絶対値の和です。
最小二乗法とは(英: least squares method)
最小二乗法は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことです。
リッジ回帰とは
直線回帰に正則化項の概念を加えた回帰分析。
最小二乗法の式に正則化項（L2ノルム）を加え、その最小を求めることでモデル関数を発見することにつかいます。
感想
リッジ回帰の説明を理解するには、たくさんの統計用語をしらないといけなくて、びっくりしました。