今日のお題

線形回帰の最小二乗法
$ J(w) = \sum_{i=1}^n (y_i - w^T x_i)^2 $を最小化
→ $(X^T X) $が正則なら
$ w = (X^T X)^{-1} X^T Y $
が最小解

これを計算してみます。

関数J(w)の勾配を求める

関数 $ J(w) $ は次のように与えられている。
$ J(w) = \sum_{i=1}^n (y_i - w^T x_i)^2 $

ここで、$ y_i $ は目標値、$ w $ は重みベクトル、$ x_i $ は教師データのベクトルです。

この関数 $ J(w) $ の勾配を求めるために、各 $ w $ に関して微分します。まず、行列形式に変換する。
$ J(w) = (Y - Xw)^T (Y - Xw) $
ここで、 $ Y $ は $ y_i $ のベクトル、$ X $ は $ x_i $ の行列である。

この式を展開すると：
$ J(w) = Y^T Y - 2 Y^T X w + w^T X^T X w $

これを $ w $ に関して微分すると：
$ \nabla J(w) = -2 X^T Y + 2 X^T X w $

したがって、勾配 $ \nabla J(w) $ は次のようになる。
$ \nabla J(w) = 2 X^T (X w - Y) $

$ 2 X^T (X w - Y) = 0 $
$ X^T X w = X^T Y $

これを解くと、重みベクトル $ w $ は次のようになる。
$ w = (X^T X)^{-1} X^T Y $