これは何？
線形代数では、名前が付いた行列（のタイプ）がたくさん出てきます。例えば、正則行列、対角行列、直交行列、対称行列、などなど、特定の具体行列ではなく特徴づけされた行列のファミリーが存在します。
例えば、「対称行列は必ず直交行列によって対角化できる」という有名な命題があります。では、直交行列で対角化できるのは対称行列だけでしょうか？いいえ、交代行列も直交行列で対角化できることが知られています。では直交行列で対角化できる行列全体にはどんな特徴があるのでしょう。それには「正規行列」と名前が付いています。
$A A^T = A^T A$ ... 正規行列
このことを知って、行列の分類をやってみようと思い立ちました。
正則行列、対称行列、直交行列、正規行列、、、などの分類と包含関係を図で整理してみました。
さらに、この行列の関係を生み出す、5つの行列分解がとても分かりやすくて、Gilbert 先生と協力して、マトリックスワールド、という分類地図を作ってみました。
（ここでは、実数体の行列を扱い、固有値を考える場面でのみ複素数体に拡張してスカラーを扱っています）
Matrix World
英語版
日本語版
凡例
- $A \ \ \ \ $ 実数を要素とする一般の行列 ( $m \times n$ )
- $C \ \ \ \ $ 独立した列ベクトルからなる行列 ( $A = CR$ )
- $R \ \ \ \ $ 行階段行列 ( $A = CR$ ), 上三角行列Gram-Schmidtの係数 ( $A=QR$ )
- $S \ \ \ \ $ 対称行列
- $Q \ \ \ \ $ 直交行列
- $L \ \ \ \ $ 下三角行列
- $U \ \ \ \ $ 上三角行列 ( $A=LU$ ), 列空間の単位直交基底行列 ( $SVD$ )
- $P \ \ \ \ $ 置換行列( $PA = LU$ ), 射影行列
- $Λ \ \ \ \ $ 固有値の対角行列
- $Σ \ \ \ \ $ 特異値の対角行列
- $V \ \ \ \ $ 行空間の単位直交基底行列直交 ( $SVD$ )
- $J \ \ \ \ $ Jordan 標準形
- $I \ \ \ \ $ 単位行列
- $𝜆 \ \ \ \ $ 固有値
６つの行列分解
| 分解 | 説明 |
|---|---|
| $A = CR$ | Column Row分解。線形独立な列ベクトル $C$ と行階段行列 $R$ |
| $PA = LU$ | LU分解(Gaussの消去法)。下三角行列 $L$ と上三角 $U$ 必要であれば行置換 $P$ |
| $A = QR$ | Gram-Schmidtの直交化。正規直交ベクトル $Q$ と係数上三角行列 $R$。 |
| $A = XΛX^{-1}$ | 対角化。固有値の対角行列 $Λ$ と固有ベクトル $X$ |
| $S = QΛQ^{T}$ | 対角化（対称行列）。実数固有値の対角行列 $Λ$ と直交行列 $Q$ |
| $A=UΣV^T$ | SVD(特異値分解)。特異値の対角行列 $Σ$ と直交行列 $U$, $V$ |
この地図の説明
- すべての行列($m\times n$)は $A=CR$ と分解できる(線形独立な列ベクトルと行ベクトル。この分解により、列ランク=行ランク、が一目瞭然）
- すべての行列($m\times n$)は、$A=UΣV^T$ と分解できる（SVD。$U$, $V$ は２つの空間の正規直交基底）。
- 正方行列は可逆（正則）もしくは特異のどちらかである。（逆行列をもつものを可逆＝正則という）
- 可逆かどうかは、$A=LU$分解で十分なピボットがあること、$det(A) ≠ 0$、すべての固有値が非0であること、のいずれとも同値である。
- 可逆行列は、直交行列$Q$と上三角行列 $Q$ をつかって、$A=QR$ と分解できる (Gram-Schmidtの直交化)。
- 正方行列は対角化可能もしくは不可能のどちらかである。不可能の場合でも、Jordan標準形へと分解できる.
- 対角化可能行列は $A=XΛX^{–1}$と一意に分解できる。$Λ$は固有値の対角ベクトル、$X$は固有ベクトルからなる可逆ベクトル。
- 対角化不能行列は、$A=XJX^{-1}$と一意に分解できる。$J$はJordan標準形、$X$は広義固有ベクトルからなる可逆ベクトル.
- $A^{T}A=AA^{T}$ が成り立つ行列を正規行列といい、$A=QΛQ^T$ と直交行列によって対角化できることと同値である。
- $S=S^T$ が成り立つ行列を対称行列といい、$Q^{-1}=Q^T$が成り立つ行列を直交行列という。対称行列と直交行列は、重要な正規行列である。交代行列 $A^T= -A$ も正規である（図には描かれていない）。
- 対称かつ直交な行列も存在する（Householder, Hadamard そして単位行列など）。
- 直交行列のすべての固有値は $|λ|=1$。
- 対称行列のすべての固有値は実数。
- 歪対称行列のすべての固有値は準虚数（図には描かれていない）。
- 対称行列のうち、すべての固有値が $λ≥0$ のものを半正定値行列という。
- さらに、すべての固有値が $λ>0$ のものを正定値行列という。
- 射影行列($P2 = P = P^T$)は対称であり半正定値。
- 射影行列の固有値はすべて、$λ=1$ もしくは $0$
- $A$の列ベクトル空間への射影行列は、$P=A(A^TA)^{-1}A^T$ (図には描かれていない)
- どんな行列 $A$ であっても、$A^TA$ は半正定値となる。さらに、$A$ の列ベクトルが独立である場合、そしてその場合のみ正定値になる。
- 行列 $A$が可逆であれば、特異値分解を使って $A^{-1}=VΣ^{-1}U^T$.
- 行列 $A$が可逆でない場合、さらに正方行列でない場合でも、擬似逆行列 $A^{–+}=VΣ^{+}U^T$ が存在する。
- 実行列から複素行列へと拡張する場合、直交はユニタリ、対称はエルミート、$A^T$ は $A^H$(共役転置)へと拡張される。
- 最後に、Jordan の位置がワールドの「特異」側になっているが、実際は可逆の場合も非可逆の場合もある（デザイン上いい場所が見つからなかったのが残念）。
作った経緯
海外でとても人気のある線形代数の教科書、Gilbert Strang先生著 "Introduction to Linear Algebra"（『世界標準MIT教科書 ストラング:線形代数イントロダクション』)の続編ともいえる本が日本語訳でもでました。その名も、『ストラング：教養の線形代数』です。
本書の紹介ページ（日本語、英語本家）
- Linear Algebra for Everyone http://math.mit.edu/everyone/
- ストラング：教養の線形代数 https://www.kindaikagaku.co.jp/book_list/detail/9784764906457/
英語ページの最後に、私が書いた Matrix World を先生が解説文付きで入れてくれました!また、日本語には、この絵とともに、他の線形代数の理解を助ける視覚化も付録に入っています。
- The Art of Linear Algebra https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra/blob/main/The-Art-of-Linear-Algebra-j.pdf
参考
- この記事の英語版ブログ - https://anagileway.com/2020/09/29/matrix-world-in-linear-algebra-for-everyone/
- Linear Algebra for Everyone – http://math.mit.edu/everyone/
- Introduction to Linear Algebra – http://math.mit.edu/linearalgebra/
- A 2020 Vision of Linear Algebra – https://ocw.mit.edu/resources/res-18-010-a-2020-vision-of-linear-algebra-spring-2020/
- MIT Open CourseWare 18.06 https://www.youtube.com/playlist?list=PLE7DDD91010BC51F8