初めに

表題について．

参考：

MAIN

逆行列

定義 / Definition
正方行列$A \left( \in \mathbb{R}^{n \times n} \right)$に対して，

A A^{-1} = A^{-1} A = I

を満たす正方行列$A^{-1}$が存在するとき，$A^{-1}$を$A$の「逆行列（inverse matrix）」と呼ぶ．但し，$I$は$n$次のidentityである．

なお，逆行列を持つような正方行列を，正則（regular）であると言う．非特異（non-singular）・可逆（invertible）などと言うこともある．

疑似逆行列

定理 / Theorem
複素行列$A \left( \in \mathbb{C}^{m \times n} \right)$に対して，以下の4つを満たす複素行列$A^{+} \left(\in \mathbb{C}^{n \times m} \right)$が唯一つ存在する．

$A A^{+} A = A$
$A^{+} A A^{+} = A^{+}$
$(A A^{+})^{*} = A A^{+}$
$(A^{+} A)^{*} = A^{+} A$

このとき，$A^{+}$を$A$の「疑似逆行列（pseudoinverse matrix）」と呼ぶ¹．

厳密には，Moore-Penrose型と呼ぶようだが，教科書を見ても，「本書ではMoore-Penrose型のみを扱う」などとされており，何が「Moore-Penrose型」たらしめるのか，「非Moore-Penrose型」はどのような形なのか，などは未だ分からない．しかし，一般的には，「pseudoinverse of the Moore-Penrose type」のことを，単に「pseudoinverse」と呼んで良いという，そのような雰囲気が浸透しているようである．

ところで，

一般逆行列
一般化逆行列
疑似逆行列
Moore–Penrose inverse
Moore–Penrose generalized inverse
pseudoinverse

など，沢山の呼び方があるが，何れもpseudoinverse of the Moore-Penrose typeのことを指しているようである．

$A = U S V^{*}$に対して，

\begin{align}
    A^{+}
    &= V S^{-1} U^{*}
     = \sum_{k}^{K} \frac{1}{s_{i}} v_{i} u_{i}^{*}
\end{align}

応用

$A x = b$において，$A \in \mathbb{C}^{m \times n}, \ x \in \mathbb{C}^{n}, \ b \in \mathbb{C}^{m}$を考える．

最小二乗解

$m \gt n$のとき（$A$ is tall & skinny），方程式（データ）が多い割に，自由度が小さい．いい塩梅で least square．

\begin{align}
    A x 
    &= b
    \\
    x 
    &= A^{+} b
    \; \text{ minimizes} \;
    \| A x - b \|_2
\end{align}

最小ノルム解

$m \lt n$のとき（$A$ is short & fat），方程式（データ）が少ないのだけれど，自由度がめちゃくちゃ大きい．抑え込んで least norm．

\begin{align}
    A x 
    &= b
    \\
    x 
    &= A^{+} b
    \; \text{ minimizes} \;
    \| x \|_2
\end{align}

終わりに

最小二乗解と最小ノルム解は，いつも彼辺此辺ではないか，と不安になる．

「疑似」という日本語と，「擬似」という日本語がある．現代では，両者に同じ意味が与えられているが，漢字の歴史から見ると，「疑似」が本来の漢字で，「擬似」は日本人が勝手に生み出して浸透させてしまったものらしい． ↩