機械学習用語まとめ001
昨今のAIブームを受け、機械学習やAIで出てくる用語をまとめてみました。
理解の誤りがあれば直したいと思いますので、ご指摘いただけると幸いです。
なお、数学的記載を楽したいためにななめ文字などを使っていないケースなどもあるので、
悪しからず。
目次
線形回帰
線形回帰は教師あり学習の1つであり、目的変数が説明変数の計数に対して線形なモデルを学習するものである。線形回帰では訓練データに適合する回帰を学習する際、二乗誤差の最小化を行う。
換言すると、線形回帰では訓練データに適合する回帰を学習する際、尤度関数の最大化を行う。
線形回帰の種類として、有名なものにリッジ回帰とラッソ回帰がある。
・リッジ回帰は、直線回帰に正則化項の概念を加えた回帰分析手法である。最小二乗法の指揮に正則化項(L2ノルム)を加え、その最小を求めることで、モデル関数を発見する。
・ラッソ回帰は、直線回帰に正則化項の概念を加えた回帰分析手法である。最小二乗法の指揮に正則化項(L1ノルム)を加え、その最小を求めることで、モデル関数を発見する。
・リッジ回帰は縮小推定が特徴として挙げられ、過学習を抑えられる。つまり、正則化項を十分に大きくすると、一般に回帰係数は、一部0に近づくが、完全な0にはならない。
・ラッソ回帰はスパーク推定が特徴として挙げられ、不要なパラメータをけずれる。つまり、正則化項を十分に大きくすると、一般に回帰係数は、一部完全な0になる。
線形回帰では、モデルの複雑性(表現力)が大きくなると、バイアスは小さくなるが、バリアンスは大きくなる。
ロジスティック回帰
ロジスティック回帰は名前ゆえに間違われやすいが、教師あり学習の分類手法であり、2値分類では、入力が一方のクラスに属する確率を出力するように学習する。ロジスティック回帰では学習の際、尤度関数の最大化を行う。
注意として、二乗誤差という単語は、回帰手法でのみ使われる言葉なので、二乗誤差の最小化という概念はない(ハズ)。
ロジスティック回帰では、シグモイド関数を利用することが多い。シグモイド関数(y=1/(1+exp(-x))は0<y<1の間をとる特徴があるためである。
確率的勾配法
確立的勾配降下法(SGD)とは最適化手法の一つであり、バッチ学習である最急降下法をオンライン学習に改良したものである、つまり、最適化するパラメータをθ、最小化する目的関数をL(θ)=i=1nLi() (iは学習サンプルのインデックス)
とすると一回の更新が最急降下法ではθ←θ-η▽θL(θ)であるが、確率的勾配降下法ではθ←θ-η▽θLi(θ)
SGDは、トレーニングサンプルごとにコスト関数の勾配を求め、重みを更新してやる方法である。パラメータの更新が小刻みに実施されるため、学習経過を細かく監視可能である。また、訓練データの冗長性をうけなく、局所的な極小解に陥りにくい
パラメータ更新の際に、学習速度を早める慣性項を追加するモメンタムという手法がある。
編集後記
初めてのQiitaへの投稿ですので、優しくしていただけると幸いです。
初稿：2018-07-29