LoginSignup

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

ムーア・ペンローズ擬似逆行列の導き方について

解決したいこと

多次元回帰で使用されるムーア・ペンローズ擬似逆行列の導き方について質問です。

画像のように多次元の二乗誤差関数を微分することにより、よく知られている擬似逆行列が導けるようですが、その導き方でわからない部分があります。

添付の画像赤枠の部分を微分することにより、同じく赤枠2個目の項が求まるようなのですが、なぜ1個目の赤枠⇨2個目の赤枠の結果になるのかが理解できないでいます。
スクリーンショット 2021-11-24 18.43.48.png

当方線形代数初学者でこの点の丁寧な解説が欲しいのですが、ネットを調べてみてもこの部分の解説は省略されてしまっているサイトが多く、困ってしまっています。

よろしくお願いします。

1

1Answer

まず $E(\boldsymbol{w})$ はスカラーであることに注意してください。
赤枠部分1項目の $\boldsymbol{w}^T \tilde{\boldsymbol{X}}^T \boldsymbol{y}$ もスカラーですので当然転値を取っても値は変わりません。
更に $(AB)^T = B^T A^T$ より
$$\boldsymbol{w}^T \tilde{\boldsymbol{X}}^T \boldsymbol{y} = \boldsymbol{y}^T \tilde{\boldsymbol{X}} \boldsymbol{w}$$ が成り立ちます。

よって $\nabla \boldsymbol{w}^T \tilde{\boldsymbol{X}}^T \boldsymbol{y}$ を計算すれば良い事が分かります。

この形はややこしいので一般の形で整理すると、公式として
$$\nabla \boldsymbol{w}^T \boldsymbol{y} = \boldsymbol{y}$$
が成り立ちます。
これは行列の内積を偏微分していくので(2$\times$2行列とかで)実際に手計算すればすぐに確かめられると思います。

あとは上の赤枠部分の縦ベクトル(列ベクトル) $\tilde{\boldsymbol{X}}^T \boldsymbol{y}$ ついてこの公式を使うと

$$\nabla \boldsymbol{w}^T \tilde{\boldsymbol{X}}^T \boldsymbol{y} = \tilde{\boldsymbol{X}}^T \boldsymbol{y}$$ となるので求めたい計算ができるかと思います。

2

Your answer might help someone💌