【ご挨拶】こんにちは！ぬかさんエンジニアリングです。

本記事をクリックして下さってありがとうございます！
今回は、応用数学から線形代数について固有値分解を取り扱いたいと思います。
E資格のシラバスには線形代数の特異値分解のみが記載してありますが、いきなり特異値分解を理解しようとしても難しいかと思いますので、今回はその前段階として固有値分解を扱います。
E資格の参考書などで最初に出てきて何となく解いたけど意味はよく分かっていないなんて方は｢結局何なの圏」を突破して遥か下方に見える固有値分解に向かって「固有値分解は○○だった。」とかガガーリンぶってのたまうのもいいかもしれません。
さらに、文系出身で線形代数にほとんど触れたことが無いという人でも十分理解できるように基礎から順番に説明していきます。私も文系で線形代数とは付き合って一年も経っていないのですが、順を追って学べば理解できますのでご安心ください。

【本シリーズの概要】

ハックしない"って何？

ハック/-Hack-は…

〔物事をうまくやるための〕こつ、アイデア

*英辞郎 on the WEB『hackの意味・使い方・読み方』¹

と言う意味を持っています。

この意味合いで、世の中には生活術や仕事術としての「○○ハック」という言葉が広がっていますよね。
塾や予備校で学ぶ受験対策術も「お受験ハック」です。”傾向と対策”など、大学入試の際に私もお世話になりました。
しかし、本シリーズではそういった対策術だけを記事にすることはありません。
”E資格合格のための５つのコツ”とか”○○時間で合格できるE資格”とか”覚えておきたいコスパ最強10の公式”などは期待しないでください。
ディープラーニングについて頭の中に体系を作り上げていただける様に、記事の内容もコツコツと必要な知識を述べ、体系的に整理して使えるような形を目指して作っていきます。

それが【ハックしないE資格対策記】です。

なぜハックしないのか

何故なら、資格試験の合格はゴールではなくあくまで客観的な知識と技術の基準として存在するものであり、合格後に知識と能力を活かせるかの方が遥かに大切だからです。

ここで一般社団法人日本ディープラーニング協会の公式ホームページからE資格の目的に関する記述を引用します。

ご挨拶

人工知能の分野は、良くも悪くも、「人工知能の定義がない」ということに由来する特徴があります。さまざまな技術を取り込む寛容性がある一方で、なんでもかんでも人工知能と言ってしまうことができ、過剰期待を生みやすい性質もあります。だからこそ、人工知能の分野においては、ある一定の知識レベル・技術レベルの基準を作るということが大変重要と考えます。本協会では、初期の重要な活動としてディープラーニングに関する資格試験を実施したいと考えています。ユーザ企業やエンジニアが、一定の知識レベルを担保することで、地に足の着いた議論や事業開発ができるものと考えています。

一般社団法人日本ディープラーニング協会
公式ホームページご挨拶²

E資格概要

ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。

一般社団法人日本ディープラーニング協会公式ホームページ E資格概要³

E資格が目的としていることは引用の通りで、要するにディープラーニングについての能力と知識レベルを客観的な基準で認定して、一定のレベルを担保した上で議論や事業開発が出来るようにすために実施されているのです。

この資格が、合格後にディープラーニングを議論や事業に活かしてもらうためにあると分かった上でもう一度考えてみると、やはりハックせずにコツコツとディープラーニングについての体系を組み立てて長期的に役立つ方向に向かった方が良いなと思いませんか。

概要を読んで良いコンセプトだと感じて下さった方は是非これからのシリーズを見届けていってもらえると嬉しいです。
また、訂正、アドバイス、追加の参考資料の提案などなど、この記事をより良いものにするコメントをして下さるセカンドクリエイターの皆様をお待ちしております。

また、LGTMで盛り上げて頂けるとモチベーションに繋がりますのでクリックよろしくお願い致します！

【今回のテーマ】~固有値分解のイメージと計算方法~

〔ファスト固有値分解〕

固有値分解の計算手順をサクッと確認したい方はこの章を参考にして下さい。

固有値、固有ベクトルとはなんぞ？と言う方は次章以降をじっくり読んで理解した上でこの章で確認していただくことをおすすめします。

◆基本の手順◆

固有値分解したい行列が$n$次正方行列かを確認する

固有値分解を適応できるのは正方行列のみなので、それ以外の行列には特異値分解を適応する
固有値分解とは$n$次正方行列$A$を$PΛP^{-1}$に分解する手法であることを確認する。

$Λ$ ：固有値を対角成分に持つ$n$次対角行列

$P$ ：固有ベクトルを列方向に並べた$n$次の正方行列(逆行列が存在するので正則行列）

$P^{-1}$ ：正則行列$P$の逆行列
固有値$λ$を$n$個求めて$Λ$を完成させる

サラスの公式か余因子展開を使って固有方程式$det(λI-A)=0$を、固有値$λ$について解く

固有値に重解があった場合は$n$個未満であることに注意
固有ベクトル$\boldsymbol{u}$を$n$個求めて$P$を完成させる

各固有値それぞれについて、固有値を代入した固有方程式と文字で置いた固有ベクトルの同次連立一次方程式を行基本変形やクラメルの公式を使って解く

重解については、重解の次数分だけ一次独立な固有ベクトルを取れるなら固有値分解可能だが、取れなければジョルダン標準形でアプローチする
$P$から逆行列$P^{-1}$を完成させる

$P$が二次正方行列であれば二次正方行列の逆行列の公式、三次正方行列以上であれば掃き出し法を使って逆行列を求める。
固有値分解の完成！
$PΛP^{-1}$を実際に計算して$A$と等しくなるか確かめる。

固有値$λ$や固有ベクトル$\boldsymbol{u}$は求まり次第順次$Λ$と$P$に穴埋めしていくとどの固有値がどの固有ベクトルに対応しているか分かりやすくなるのでおすすめします。

◆補足知識◆

行列$A$が対称行列の場合、$P$は直交行列となり$P$の逆行列$P^{-1}$は転置行列$P^{T}$と等しくなるため、逆行列を求める必要がない。
固有ベクトルは自明でない解であり、任意定数を含んでいるので大きさの解が無限に存在するが、大きさ１のベクトルに限定することで１つの解を求めることができる。

〔固有値・固有ベクトル〕

固有値分解を理解するには固有値、固有ベクトルとは何かについて知っている必要があります。

ですので、じっくりと定義の理解とイメージの獲得をしていきましょう。

◆定義◆

固有値・固有ベクトルの定義は以下の通り。

$n$次正方行列$A$に対し、スカラー$λ$と零ベクトルでない$n$項ベクトル$\boldsymbol{u}≠0$が、

$A\boldsymbol{u}=λ\boldsymbol{u}$

を満たすとき$λ$を$A$の固有値といい、$\boldsymbol{u}$を$A$の固有値$λ$に関する固有ベクトルという。⁴

スカラー$λ$
実数(整数と差が１の整数と整数の間の全て)
3,0,-12,4.82,-1/2,0.3333･･･,$\pi$等々
$n$次正方行列$A$
行と列の要素の数が等しい行列

2次正方行列=\begin{pmatrix}
a & b \\
c & d \\
\end{pmatrix}
,3次正方行列=\begin{pmatrix}
a & b & c \\
d & e & f \\
g & h & i \\
\end{pmatrix}

n項ベクトル$\boldsymbol{u}$：成分をn個持つ縦ベクトル

2項ベクトル=\begin{pmatrix}
x_1 \\
x_2 \\
\end{pmatrix}
,3項ベクトル=\begin{pmatrix}
x_1 \\
x_2 \\
x_3 \\
\end{pmatrix}

◆イメージ◆

$0$を原点とする座標表面上の位置ベクトルが$\boldsymbol{u}$になる点Uの座標を$(x_1, x_2)$とします。この時、$\boldsymbol{u}$を上記のような縦ベクトルで表します。この$x_1, x_2$をそれぞれ、ベクトル$\boldsymbol{u}$の$x$成分、$y$成分と言い、イメージしやすくするために成分表示するとこの様に表せます。

ベクトルが3項になれば$ｚ$成分が追加され、座標空間上に表せます。4項以上は図示できません。

ここまで見て理解した！という方は◆固有値の求め方◆まで読み飛ばしていただいてどうぞ！さっぱりだという方は順を追ってイメージを掴んでいきましょう。

固有値と固有ベクトルの定義を見ても正直言ってることは分かったけどだから何なんだ？と思いませんでしたか？私はそうでした。
そんなあなたにはこの項で固有値と固有ベクトルのイメージを理解していただきたいと思います。そこで、幾何的な意味について説明してきます。

と、その前に固有値と固有ベクトルのイメージを理解するには前提として平面上の一次変換を理解している必要があるので、もし初耳だったり曖昧だという方は下記にある◆一次変換◆をご覧頂いてから戻ってきてください。

それでは幾何的な意味ついて説明して参りましょう。

幾何的とは図形的と言ってもいいですが、その観点から固有値と固有ベクトルを捉えると、「$n$次正方行列$A$で一次変換しても方向が変わらないベクトルを固有ベクトル、固有ベクトルの大きさを一時変換後のベクトルに合わせるスカラーを固有値」と言い表すことができます。

具体例を見れば一目瞭然なので順を追って説明していきます。

非固有ベクトルの場合
2次正方行列$A=\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}$と適当なベクトル$\boldsymbol{u}=\begin{pmatrix}2 \\ 1 \\ \end{pmatrix} $を用意します。

ここで$\boldsymbol{u}$を$A$で一次変換を行うと、結果は$ \boldsymbol{u}=\begin{pmatrix}9 \\12 \\ \end{pmatrix} $となります。

イメージはこの通りです。

一時変換後のベクトルは変換前と方向が異なるので、ベクトル$\bigl(\begin{smallmatrix}2 \\1 \\ \end{smallmatrix}\bigl)$は行列$A$の固有ベクトルではありません。
固有ベクトルの場合
2次正方行列$ A=\begin{pmatrix}4 & 1 \\ 3 & 6 \\ \end{pmatrix} $とベクトル$ \boldsymbol{u}=\begin{pmatrix}1 \\ 3 \\ \end{pmatrix} $を用意します。

ここで$\boldsymbol{u}$を$A$で一次変換を行うと、結果は$ \boldsymbol{u}=\begin{pmatrix}7 \\ 21 \\ \end{pmatrix} $となります。
イメージはこの通りです。

一時変換後のベクトルは変換前と方向が同じであるので、ベクトル$\bigl(\begin{smallmatrix}1 \\ 3 \\ \end{smallmatrix}\bigl)$ は行列$A$の固有ベクトルです。
固有ベクトルに対する固有値
ここで求めた固有ベクトル$\bigl(\begin{smallmatrix}7 \\ 21 \\ \end{smallmatrix}\bigl)$ は、変換前のベクトル$\bigl(\begin{smallmatrix}1 \\ 3 \\ \end{smallmatrix}\bigl)$ にスカラー$7$を掛けたベクトルだとも見て取れます。このスカラー$7$を固有ベクトルに対する固有値と言います。

ここまで読むと幾何的な固有値と固有ベクトルの意味がイメージできたのではないでしょうか。

今回の例では始めから固有ベクトルが分かっている状態でしたが、実際には行列$A$の情報のみから解を導き出す必要があります。固有値の求め方が分かればそれが可能になります。それでは次項に進みましょう。

◆固有値の求め方◆

▽固有方程式の定義▽

$n$次正方行列$A$に対し、文字$t$についての多項式
$F_A(t)=|tI-A|$
を$A$の固有多項式という。また、$t$についての方程式
$F_A(t)=0$
を$A$の固有方程式という。⁴

固有方程式
$t$に関する方程式のこと。tは固有値$λ$のことであり、固有方程式を解くことで固有値$λ$が求められる。

▽イメージ▽

$|tI-A|$は行列式$det(tI-A)$と同義であるため、$t$が$λ$であることと併せて$F_A(λ)=det(λI-A)=0$を解けば固有値が求められると書き換えられます。何故$F_A(λ)=0$を解けば固有値が求められるのかは、$A\boldsymbol{u}=λ\boldsymbol{u}$を変形させればわかります。変形の過程はこの通りです。

A\boldsymbol{u}=λ\boldsymbol{u}\\
(λ-A)\boldsymbol{u}=0\\
\boldsymbol{u}≠0より\\
det(λI-A)=0\\

一行目の式の左項を右項に移項して$\boldsymbol{u}$で括ると二行目の式になります。二行目の式の$\boldsymbol{u}$が零ベクトルであってはいけないことが〔固有値・固有ベクトル〕の◆定義◆に書かれているので、二行目の式が成り立つには$(λ-A)$が零である必要があります。よって行列式$det(λ-A)=0$が成り立つ$λ$を求めることになります。ここで、$λ$はスカラーなので行列式を解くにあたり単位行列$I$を掛けてあげることに気を付けます。
単位行列$I$は、対角成分に１を持っており、他の成分は全て０である行列のことです。実数に１をかけても値が変わらないように行列に単位行列をかけても行列の成分は変わりません。

※一行目の移項に関して、右項を左項に移行する場合は固有方程式が$det(A-λI)=0$になります。どちらも内容は同じですが、参考書などによってどちらを使うか分かれるため要注意です。私は$det(A-λI)=0$派なのでこれより下の文章では定義と見た目が異なることになりますがご了承ください。

▽固有方程式の求め方▽

ここまで説明が長くなりましたが、いよいよ計算方法の説明に入っていきます。
それでは具体例を使って計算していきましょう。

まずは先ほど〔固有値・固有ベクトル〕の◆イメージ◆の固有ベクトルの場合で用いた
二次正方行列$ A=\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix} $を用意します。

そして、固有方程式に代入して$λ$について解きます。
$ det(A-λI)=\begin{vmatrix}\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}-\begin{pmatrix}λ & 0 \\0 & λ \\ \end{pmatrix}\end{vmatrix}=\begin{vmatrix}4-λ & 1-0 \\3-0 & 6-λ \\ \end{vmatrix}=0 $
サラスの公式を使い行列式を解くと
$(4-λ)(6-λ)-(1-0)(3-0)
=24-10λ+λ^2-3
=λ^2-10λ+21
=(λ-3)(λ-7)=0 $
となり、よって固有値は $λ=3,7$ です。
この後、各固有値を使ってそれぞれの固有ベクトルを求めるため$λ_1=3，λ_2=7$と置きます。

実際に計算してみると$λ$の解の数はほとんどの場合正方行列の次数と同じであることが分かります。

しかし、$λ$の解が重解になる場合には数が合わないことが有ります。その場合、重解である$λ$から重解の次数分の一次独立な固有ベクトルが得られれば、その行列$A$は固有値分解可能です。得られなければその行列$A$は固有値分解不可です。これは、$n×n$の正方行列において$n$本の一次独立な固有ベクトルが取れれば固有値分解が可能であるという性質に基づいています。この性質についての詳しい説明は非常に長くなるので本記事では取り扱いませんが、証明方法などが知りたければ「ヨビノリ」の線形代数シリーズ13講と14講を参考にしてください。

【大学数学】線形代数入門⑬(対角化：重解がない場合)【線形代数】 - YouTube
【大学数学】線形代数入門⑭(対角化：重解がある場合) - YouTube

◆固有ベクトルの求め方◆

固有値が求められたら次に固有ベクトルを求めていきます。

固有ベクトルは 「$n$次正方行列$A$で一次変換しても方向が変わらないベクトル」 でしたが、求めた各固有値からどのように導けばよいのでしょうか。この項ではその方法を説明していきます。

結論、固有ベクトルは$n$次正方行列$A$の固有値$λ_{i}(i=1,2,...,n)$に関する固有ベクトルを

\boldsymbol{u_{j}}=\begin{pmatrix}
x_{j1} \\
\vdots \\
x_{ji} \\
\vdots \\
x_{jn} \\
\end{pmatrix}(j=1,2,...,n)

とおいて、同次連立一次方程式

(A-\lambda_{i} I)\boldsymbol{u_{j}}=0\\
(i=1,2,...,n)(j=1,2,...,n)

の自明でない解を求めればよいです。

同次連立一次方程式と自明ではない解について分からない方は下記の◆同次連立一次方程式◆をご覧頂いてから戻ってきてください。

それでは具体例を使って計算していきます。

引き続き〔固有値・固有ベクトル〕の◆イメージ◆の固有ベクトルの場合で用いた
$ A=\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}$について、前項で求めた固有値$λ_1=3，λ_2=7$を使って固有ベクトルを求めます。

まず、$λ_1=3$の場合について計算します。

ここでは$\boldsymbol{u}$を一つ目の固有ベクトルとして$\boldsymbol{u_1}$と表記し、$ (A-λ_{i}I)\boldsymbol{u_1}=0 $とします。
ここで$λ_{i}$に$3$を代入すると
$ (A-λ_{i}I)\boldsymbol{u_1}=\begin{Bmatrix}\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}-\begin{pmatrix}3 & 0 \\0 & 3 \\ \end{pmatrix} \end{Bmatrix}\boldsymbol{u_1}=\begin{pmatrix}4-3 & 1-0 \\3-0 & 6-3 \\ \end{pmatrix}\boldsymbol{u_1}=\begin{pmatrix}1 & 1 \\3 & 3 \\ \end{pmatrix}\boldsymbol{u_1}=0 $
が求まり、
$ \boldsymbol{u_1}=\begin{pmatrix}x_{11} \\x_{12} \\ \end{pmatrix} $
なので
$ (A-λ_{i}I)\boldsymbol{u_1}=\begin{pmatrix}1 & 1 \\3 & 3 \\ \end{pmatrix}\begin{pmatrix}x_{11} \\x_{12} \\ \end{pmatrix}=\begin{pmatrix}x_{11}+x_{12} \\3x_{11}+3x_{12} \\ \end{pmatrix}=\begin{pmatrix}0 \\0 \\ \end{pmatrix} $
となります。行列を連立一次方程式に変換すると
$x_{11}+x_{12}=0$
$3x_{11}+3x_{12}=0$
と表せて、$x_{11}$と$x_{12}$について連立一次方程式を解くと固有ベクトルの成分が求められます。
解は自明ではない解であるため、任意定数$ｃ$を用いて
$ x_{11}=c \\x_{12}=-c \\ $
よって固有ベクトルは$\boldsymbol{u_1}=\begin{pmatrix}x_{11} \\x_{12} \\ \end{pmatrix}=\begin{pmatrix}c \\ -c \\ \end{pmatrix}=c\begin{pmatrix}1 \\ -1 \\ \end{pmatrix}(ただしc≠0) $

任意定数はスカラー(実数)としてベクトルの外に出しています。

では、次に$λ_2＝7$の場合について計算します。

ここでは$\boldsymbol{u}$を二つ目のベクトルとして$\boldsymbol{u_2}$で表記します。つまり、$ (A-λI)\boldsymbol{u_2}=0\ $とします。
ここで$λ$に$7$を代入すると
$(A-λI)\boldsymbol{u_2}=\begin{Bmatrix}\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}-\begin{pmatrix}7 & 0 \\0 & 7 \\ \end{pmatrix} \end{Bmatrix}\boldsymbol{u_2}=\begin{pmatrix}4-7 & 1-0 \\3-0 & 6-7 \\ \end{pmatrix}\boldsymbol{u_2}=\begin{pmatrix}-3 & 1 \\3 & -1 \\ \end{pmatrix}\boldsymbol{u_2}=0 $
が求まり、
$ \boldsymbol{u_2}=\begin{pmatrix}x_{21} \\x_{22} \\ \end{pmatrix} $
なので
$(A-λI)\boldsymbol{u_2}=\begin{pmatrix}-3 & 1 \\3 & -1 \\ \end{pmatrix}\begin{pmatrix}x_{21} \\x_{22} \\ \end{pmatrix}=\begin{pmatrix}-3x_{21}+x_{22} \\3x_{21}-x_{22} \\ \end{pmatrix}=\begin{pmatrix}0 \\0 \\ \end{pmatrix}\ $
となります。行列を連立一次方程式に変換すると
$-3x_{21}+x_{22}=0$
$3x_{21}-x_{22}=0$
と表せて、$x_{11}$と$x_{12}$について連立一次方程式を解くと固有ベクトルの成分が求められます。
解は自明ではない解であるため、任意定数$ｃ$を用いて
$ x_{21}=c \\x_{22}=3c \\ $
よって固有ベクトルは$\boldsymbol{u_2}=\begin{pmatrix}x_{21} \\x_{22} \\ \end{pmatrix}=\begin{pmatrix}c \\3c \\ \end{pmatrix}=c\begin{pmatrix}1 \\3 \\ \end{pmatrix}(ただしc≠0) $
任意定数はスカラー(実数)としてベクトルの外に出しています。

ここまでの固有値と固有ベクトルの計算の解をまとめると、$ A=\begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix} $が持つ固有値$λ_{i}$は $λ_1=3,λ_1=7$ で、それぞれの固有ベクトル$\boldsymbol{u}_{j}$は$ \boldsymbol{u_1}=c\bigl(\begin{smallmatrix}1 \\ -1 \\ \end{smallmatrix}\bigl),\boldsymbol{u_2}=c\bigl(\begin{smallmatrix}1 \\3 \\ \end{smallmatrix}\bigl) $となります。

確認の計算をしてみると、
$ \begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}\begin{pmatrix}1 \\ -1 \\ \end{pmatrix}=3\begin{pmatrix}1 \\ -1 \\ \end{pmatrix} $
$A\boldsymbol{u}=λ\boldsymbol{u}$
$ \begin{pmatrix}4 & 1 \\3 & 6 \\ \end{pmatrix}\begin{pmatrix}1 \\3 \\ \end{pmatrix}=7\begin{pmatrix}1 \\3 \\ \end{pmatrix} $
で正しく計算できていることが分かります。

固有値・固有ベクトルの計算は以上ですが、次数が三次以上になると同次連立一次方程式を解くのが難しくなってくるため、より確実な方法で解く方法を紹介します。

▽三次以上の連立一次方程式の求め方▽

係数行列($ (A-λ_{i}I)$の部分)を行基本変形を使って階段行列に変換してから$\boldsymbol{u_{j}}$を掛ける

以下の行基本変形で可能な３つの変形

１．ある行のc倍を他の行に加えること

２．２つの行を入れ替えること

３．ある行をc≠0倍すること

を使って先に係数行列を階段行列に変形します。階段行列がよくわからんという方は下記の◆階段行列◆をご覧頂いてから戻ってきてください。

例えば、

$\begin{pmatrix}-2 & 1 & 1\\ -1 & -4 & 5\\ -1 & -1 & 2\\ \end{pmatrix}\begin{pmatrix}x \\y \\z \\ \end{pmatrix}=\begin{pmatrix}0 \\0 \\0 \\ \end{pmatrix}$

この同次連立一次方程式の固有ベクトルを求める場合、

$\begin{pmatrix}-2 & 1 & 1\\ -1 & -4 & 5\\ -1 & -1 & 2\\ \end{pmatrix}\rightarrow \begin{pmatrix}1 & 0 & -1 \\0 & 1 & -1 \\0 & 0 & 0 \\ \end{pmatrix} $

係数行列を行基本変形によって階段行列に変形して

$x-z=0$
$y-z=0$

$u$を掛けて一次方程式に直すと

$\boldsymbol{u}=\begin{pmatrix}x \\y \\z \\ \end{pmatrix}=\begin{pmatrix}c \\c \\c \\ \end{pmatrix}=c\begin{pmatrix}1 \\1 \\1 \\ \end{pmatrix}(ただしc≠0) $

自明でない解を任意定数$c$を用いてこのように求められます。この方法であれば、行基本変形で可能な変形さえ守れば堅実に答えが求まるので３次以上の正方行列を扱うことが有ればぜひ使ってみてください。
クラメルの公式を使う

クラメルの公式については、以下のリンクに飛んでどういったものか確認してください。

クラメルの公式とその例題・証明をていねいに | 数学の景色

ただし、リンク先でも注意されている通りクラメルの公式の計算は煩雑で手計算で解くのはあまりお勧めできません。

今回は2次正方行列について例題を扱ってみましたが、3次、4次と次数が増えるごとに計算が非常に面倒になっていくので計算方法の理解が曖昧だとミスが起きてしまいます。ですので、ここまでの内容を完全に理解して上で様々な問題を解いて慣れておきましょう。次章からはいよいよ固有値分解について定義と解き方を説明していきます。

〔固有値分解〕

◆定義◆

$n$次正方行列$A$が固有値$λ$と固有ベクトル$\boldsymbol{u}$を持つとき、
$A=PΛP^{-1}$
ただし、
$Λ=\begin{pmatrix} \lambda_{1} & 0 & \dots & 0 \\0 & \lambda_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\0 & 0 & \dots & \lambda_{n} \end{pmatrix}$
$P=(\boldsymbol{u_1}\boldsymbol{u_2}\dots\boldsymbol{u_n})$
と変形すること固有値分解という。

$Λ$
固有値を対角成分に持つ対角行列
固有値を固有値を左上から並べる順番と正則行列$P$の固有ベクトルを左から並べる順番は対応している必要があるので、手計算するときなどはしっかり下付き文字などそれぞれの固有値と固有ベクトルのペアが分かるようにしておくと便利。

ここで少し対角化に触れておく。他の方の記事などで、「固有値分解」と同じものとして「対角化」という言葉を目にした方もいるだろう。
この対角化は本質的に固有値分解と同じことしており、どちらも$Λ$に注目していることに変わりはない。ただ、式にはこのような違いがある。

固有値分解

$ A=PΛP^{-1}$

対角化

$ P^{-1}AP=Λ$

しかし、固有値分解の式と対角化の式は互いに相手と同じ形の式に変形できて、使う情報も同じなので、同じものとして扱われている。気になる方は、逆行列の性質を利用してお互いの式を相手と同じ形に直してみていただきたい。
$P$
固有ベクトルを列方向に並べた正方行列(逆行列が存在するので正則行列）
成分を表示すると、
$P=(\boldsymbol{u_1}\boldsymbol{u_2}\dots\boldsymbol{u_n})\\ \quad=(\begin{pmatrix}x_{11}\\x_{12}\\ \vdots\\x_{1n}\end{pmatrix}\begin{pmatrix}x_{21}\\x_{22}\\ \vdots\\x_{2n}\end{pmatrix}\dots\begin{pmatrix}x_{n1}\\x_{n2}\\ \vdots\\x_{nn}\end{pmatrix})\\ \quad=\begin{pmatrix} x_{11} & x_{21} & \dots & x_{n1} \\x_{12} & x_{22} & \dots & x_{n2} \\ \vdots & \vdots & \ddots & \vdots \\x_{1n} & x_{2n} & \dots & x_{nn} \end{pmatrix} $
となる。
$P^{-1}$
正則行列$P$の逆行列
行列$(P\quad I_n)$を何回かの行基本変形により$(I_n\quad B)$に変形して得られる$B$のことである。

逆行列の求め方については、下記◆逆行列◆により詳しく解説しているのでご覧いただいて理解出来たら戻ってきてください。

次節では、これまで学んできたことすべてを使って例題を基に固有値分解していきます。

◆固有値分解の求め方◆

ここまで固有値分解を解くために様々な手法を学んでまいりましたが、いよいよ具体例を用いて固有値分解していきます。

今回扱うのはこの三次元正方行列です。

$A=\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix} $

固有値分解したい行列が$n$次正方行列かを確認する

行列$A$は三次正方行列なので固有値分解の手法を適応できます。
固有値分解とは$n$次正方行列$A$を$PΛP^{-1}$に分解する手法であることを確認する。

$Λ$ ：固有値を対角成分に持つ3次対角行列

$P$ ：固有ベクトルを列方向に並べた3次の正方行列(逆行列が存在するので正則行列）

$P^{-1}$ ：正則行列$P$の逆行列
固有値$λ$を$n$個求めて$Λ$を完成させる

$A$について固有値を求めます。

固有値の求め方は◆固有値の求め方◆と変わりません。

はじめに固有方程式$det(A-λI)$に$A$を代入します。
$ det(A-λI)=\begin{vmatrix}\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix}-\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\\ \end{pmatrix}\end{vmatrix}=\begin{vmatrix}3-λ & 0 & 1 \\0 & 1-λ & 0 \\1 & 0 & 3-λ \\ \end{vmatrix}=0 $

ここまでは先ほどを全く同じ手順です。

その後サラスの公式を用いると固有値は**$λ=1,2,4$**であることが分かります。
ここで、新たに余因子展開を使って行列式を解く手法を紹介したいと思います。

余因子展開は$n>1$次正方行列なら使うことができるの便利な手法なので覚えておいて損はないので実際に計算してみましょう。余因子展開の定義は下記の◆余因子展開◆からご確認ください。

今回の例では2列目について余因子展開を行います。余因子展開する行か列を選ぶ際には０の数が一番多くなる場所を選ぶと良いです。何故なら、０の成分の余因子展開は必ず０になるからです。今回もそのメソッドに則って２回０が出てくる２列目を選択します。

計算式は以下の通りとなります。

$ |A|=(0)_{21}(-1)^{2+1}\begin{vmatrix}0 & 0 \\1 & 3-λ \\ \end{vmatrix}+(1-λ)₂₂(-1)^{2+2}\begin{vmatrix}3-λ & 1\\1 & 3-λ\\ \end{vmatrix}+(0)₂₃(-1)^{2+3}\begin{vmatrix}3-λ & 1 \\0 & 0 \\ \end{vmatrix} $

イメージはこの通り。

計算を進めていくと

$ |A|=0+(1-λ)_{22}(-1)^{2+2}\begin{vmatrix}3-λ & 1\\ 1 & 3-λ\\ \end{vmatrix}+0\\ =(1-λ){(3-λ)(3-λ)-1×1}=(1-λ){λ^2-6λ+8}=(1-λ)(λ-2)(λ-4) $

となり、固有値は $λ=1,2,4$ です。

サラスの公式を使って求めた場合と同じ固有値 $λ=1,2,4$ であることが確認できます。

固有値分解の定義により

$Λ=\begin{pmatrix} \lambda_{1} & 0 & \dots & 0 \\0 & \lambda_{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\0 & 0 & \dots & \lambda_{n} \end{pmatrix}$

であるので、今回求めた固有値から

$P=\begin{pmatrix}1 & 0 & 0\\0 & 2 & 0\\0 & 0 & 4\\ \end{pmatrix}$

が求まります。
固有ベクトル$\boldsymbol{u}$を$n$個求めて$P$を完成させる

$A$について固有ベクトルを求めます。
求め方は◆固有ベクトルの求め方◆と変わりません。

三次正方行列の固有ベクトルの各成分は３つあり同次連立一次方程式を解くのが難しくなってくるので、練習として係数行列に対して行基本変形を行ってから計算してみてください。

計算の結果求められた各固有ベクトルは以下の通りです。
固有値$λ_1=1$の場合
$\boldsymbol{u_1}=\begin{pmatrix}0\\1\\0\\ \end{pmatrix} $

固有値$λ_2=2$の場合
$\boldsymbol{u_1}=\begin{pmatrix}-1\\0\\1\\ \end{pmatrix} $

固有値$λ_3=4$の場合
$\boldsymbol{u_1}=\begin{pmatrix}1\\0\\1\\ \end{pmatrix} $

固有値分解の定義より

$P=(\boldsymbol{u_1}\boldsymbol{u_2}\dots\boldsymbol{u_n})$

であるので、今回求めた固有ベクトルから
$P=\begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix}$
が求まります。
$P$から逆行列$P^{-1}$を完成させる

$P$について逆行列を求めます。

逆行列の求め方は◆逆行列◆で説明した通りです。

それでは実際に行基本変形を使って計算してみましょう。
定理により、$P$と単位行列$I_n$を並べてできる$n×2n$行列$(P\quad I_n)$は
$ \begin{pmatrix}0 & -1 & 1 & 1 & 0 & 0 \\1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix} $
であり、左3×3行列を単位行列$I_n$にするために行基本変形を行います。
$ \begin{pmatrix}0 & -1 & 1 & 1 & 0 & 0 & ⇐\\1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix} $
２行目の１倍を１行目に追加
$ \begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 \\1 & 0 & 0 & 0 & 1 & 0 & ⇐\\0 & 1 & 1 & 0 & 0 & 1 \\ \end{pmatrix} $
１行目の‐１倍を２行目に追加
$ \begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 \\0 & 1 & -1 & -1 & 0 & 0 \\0 & 1 & 1 & 0 & 0 & 1 & ⇐\\ \end{pmatrix} $
２行目の‐１倍を３行目に追加
$ \begin{pmatrix}1 & -1 & 1 & 1 & 1 & 0 & ⇐\\0 & 1 & -1 & -1 & 0 & 0 \\0 & 0 & 2 & 1 & 0 & 1 \\ \end{pmatrix} $
２行目の１倍を１行目に追加
$ \begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & -1 & -1 & 0 & 0 & ⇐\\0 & 0 & 2 & 1 & 0 & 1 \\ \end{pmatrix} $
３行目の1/2倍を２行目に追加
$ \begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 0 & -1/2 & 0 & 1/2 \\0 & 0 & 2 & 1 & 0 & 1 & ｜\\ \end{pmatrix} $
３行目を1/2倍
$ \begin{pmatrix}1 & 0 & 0 & 0 & 1 & 0 \\0 & 1 & 0 & -1/2 & 0 & 1/2 \\0 & 0 & 1 & 1/2 & 0 & 1/2 \\ \end{pmatrix} $

これで、左3×3行列を単位行列$I_n$にすることができました。掃きだされた右3×3行列は$B$であり、$P^{-1}$です。つまり、$P$の逆行列は
$P^{-1}=\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$
です。
固有値分解の完成！

$ A=PΛP^{-1}$

$\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix}= \begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix}\begin{pmatrix}1 & 0 & 0\\0 & 2 & 0\\0 & 0 & 4\\ \end{pmatrix}\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$
$PΛP^{-1}$を実際に計算して$A$と等しくなるか確かめる。

最後に、固有値分解の式にそれぞれ求めた行列を当てはめて固有値分解が成り立っているか確認してみましょう。
$A=PΛP^{-1}$より、

$ P=\begin{pmatrix}0 & -1 & 1\\1 & 0 & 0\\0 & 1 & 1\\ \end{pmatrix} $

$ Λ=\begin{pmatrix}1 & 0 & 0\\0 & 2 & 0\\0 & 0 & 4\\ \end{pmatrix} $

$P=\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix}$
が
$A=\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix} $
と同じ要素を持った行列になるか計算します。

$ \left\{\begin{pmatrix}0 & -1 & 1\\ 1 & 0 & 0\\ 0 & 1 & 1\\ \end{pmatrix}\begin{pmatrix}1 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 4\\ \end{pmatrix}\right\} \begin{pmatrix}0 & 1 & \\ -1/2 & 0 & 1/2\\ 1/2 & 0 & 1/2\\ \end{pmatrix} $
$ =\begin{pmatrix}0 & -2 & 4\\1 & 0 & 0\\0 & 2 & 4\\ \end{pmatrix}\begin{pmatrix}0 & 1 & 0\\ -1/2 & 0 & 1/2\\1/2 & 0 & 1/2\\ \end{pmatrix} $
$ =\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix} $

以上により$A=\begin{pmatrix}3 & 0 & 1\\0 & 1 & 0\\1 & 0 & 3\\ \end{pmatrix} $を無事固有値分解することが出来ました！！皆様お疲れさまでした

〔終わりに〕へ

〔固有値分解を解くための重要知識〕

◆一次変換(線形変換)◆

▽定義▽

平面上の変換$f$によって点$(x,y)$が移る点を$(x',y')$とする。定数$a,b,c,d$により、関係式

$ \begin{pmatrix}x' \\ y' \\ \end{pmatrix}=\begin{pmatrix}a & b \\ c & d \\ \end{pmatrix}\begin{pmatrix}x \\ y \\ \end{pmatrix}$

が全ての点(x,y)に対して成り立つとき、fを行列$\bigl(\begin{smallmatrix}a & b \\ c & d \\ \end{smallmatrix}\bigl)$ が表す一次変換（または線形変換）という。⁵

変換f

座標平面上の点をある一定の規則で移動させること
変換を記号であらわす場合、$f$や$g$等のアルファベットの小文字が用いられることが多い。

例えば、行列$A＝\bigl(\begin{smallmatrix}1 & 2\\ 1 & 3\\ \end{smallmatrix}\bigl) $ が表す一次変換によって、点(1,2)が移る点を求める場合、


\begin{pmatrix}
1 & 2 \\
1 & 3 \\
\end{pmatrix}\begin{pmatrix}
1 \\
2 \\ 
\end{pmatrix}=\begin{pmatrix}
5 \\
7 \\ 
\end{pmatrix}

行列$A$と点$(1,2)$の積を計算した結果、一次変換されて点$(5,7)$に移りました。

▽イメージ▽

図示するとこう移動していると分かります。

途中式を考えると、

\begin{pmatrix}
1 & 2 \\
1 & 3 \\
\end{pmatrix}
\begin{pmatrix}
1 \\
2 \\
\end{pmatrix}=
\begin{pmatrix}
1*1+2*2\\
1*1+3*2 \\
\end{pmatrix}=
\begin{pmatrix}
1+4\\
1+6 \\
\end{pmatrix}=
\begin{pmatrix}
1\\
1 \\
\end{pmatrix}+2
\begin{pmatrix}
2 \\
3 \\
\end{pmatrix}=
\begin{pmatrix}
5 \\
7 \\
\end{pmatrix}

このように点$(1,2)$がベクトルの足し算の結果として移動したと幾何的に解釈できます。

図示するとこう移動していると分かります。

ベクトル$\bigl(\begin{smallmatrix}2 \\ 3 \\ \end{smallmatrix}\bigl)$ が$y$方向に2倍大きくなっています。

一次変換についてまだまだトピックは尽きませんが、本題ではないので今回書くのはここまで。
一次変換についてもう少し学びたい方は「ヨビノリ」の線形代数シリーズなどを参考にしてください。

【大学数学】線形代数入門③(一次変換と演算の性質)【線形代数】 - YouTube

行列式の幾何学的意味 - YouTube

◆同次連立一次方程式◆

▽定義▽

$A$を$m×n$行列、$\boldsymbol{x}=\begin{pmatrix}x_{1} \\ x_{2} \\ \vdots \\ x_{n}\end{pmatrix}$,$\boldsymbol{b}=\begin{pmatrix}b_{1} \\ b_{2} \\ \vdots \\ b_{m}\end{pmatrix}$とする。連立１次方程式$A\boldsymbol{x}=\boldsymbol{b}$において、右辺の$\boldsymbol{b}$が０であるもの、すなわち$A\boldsymbol{x}=0$の形のものを同次連立１次方程式とよぶ。

同次連立１次方程式は必ず、$x=0$という解を持つ。この解を自明な解という。⁶

▽イメージ▽

係数行列$A$とベクトル$\boldsymbol{x}$が以下の通りであるとき、

$A=\begin{pmatrix}a_{11} & a_{12}\\ a_{21} & a_{22}\\ \end{pmatrix},\boldsymbol{x}=\begin{pmatrix}x_{1}\\ x_{2} \\ \end{pmatrix}$

同次連立一次方程式は、

$A\boldsymbol{x}=\begin{pmatrix}a_{11} & a_{12}\\ a_{21} & a_{22}\\ \end{pmatrix}\begin{pmatrix}x_{1}\\ x_{2} \\ \end{pmatrix}=\begin{pmatrix}a_{11}x_{1}+a_{12}x_{2}\\ a_{21}x_{1}+a_{22}x_{2}\\ \end{pmatrix}=\begin{pmatrix}0\\ 0\\ \end{pmatrix}$

以下の連立方程式を解いて求めることができます。

$a_{11}x_{1}+a_{12}x_{2}=0\\ a_{21}x_{1}+a_{22}x_{2}=0$

この時、同次連立一次方程式は必ず

$\boldsymbol{x}=\begin{pmatrix}x_{1}\\ x_{2} \\ \end{pmatrix}=0$

であり、この解を自明な解と呼びます。

例えば、係数行列$A_{T}$が

$A_{T}=\begin{pmatrix}2 & -1\\ 1 & 1\\ \end{pmatrix}$

だとすると、同次連立一次方程式は以下の連立一次方程式を解いて求めることができます。

$2x_{1}-x_{2}=0\\ x_{1}+x_{2}=0$

連立一次方程式を解くと、必ず

$\boldsymbol{x}=\begin{pmatrix}x_{1}\\ x_{2}\\ \end{pmatrix}=\begin{pmatrix}0\\ 0\\ \end{pmatrix}=0$

となり、自明な解であることが分かります。

一方、係数行列$A_{F}$が

$A_{F}=\begin{pmatrix}2 & -1\\ -4 & 2\\ \end{pmatrix}$

だとすると、同次連立一次方程式は以下の連立一次方程式を解いて求めることができます。

$2x_{1}-x_{2}=0\\ -4x_{1}+2x_{2}=0$

連立一次方程式を解くと、

$x_{1}$と$x_{2}$の解は１つに定まらず、任意の実数を取ることができることが分かります。

$c$を任意定数として、

$\boldsymbol{x}=\begin{pmatrix}x_{1}\\ x_{2}\\ \end{pmatrix}=\begin{pmatrix}c\\ 2c \\ \end{pmatrix}=c\begin{pmatrix}1\\ 2\\ \end{pmatrix}$

となり、自明ではない解であることが分かります。

自明ではない解の場合、同次連立一次方程式の定義に反するため、求めた連立一次方程式は同次連立一次方程式ではないことが分かります。

固有ベクトルの計算では、$(A-λI)\boldsymbol{u}$という同次連立一次方程式の自明ではない解を求め、その解のなすベクトルが固有ベクトルになります。

◆階段行列◆

▽定義▽

まず、第一行から$r$行まではピボットと呼ばれる数１を含んでいる。

この前提条件の下、

1.第$r＋1$行から最後の行までは全ての要素が０

2.第一行からr行(今回は2行目)までの各行では、ピボットより左の成分は全て０

3.第$i$行目のピボットが含まれる列の番号を$p_{i}$としたとき、番号の大きさは$p_{1}<p_{2}<...<p_{r}$であり、第$p_{i}$列ではピボット以外の要素は全て０

を満たす行列を階段行列という。⁷

▽補足知識▽

階段行列$A$のピボットの数$r$をその階段行列$A$のランクと呼び、

$rankA=r$、もしくは $rank(A)=r$

と表す。

◆逆行列◆

▽定義▽

$n$次正方行列Aに対して、$AX=XA=I_{n}$ となる$n$次正方行列$X$が存在するとき、$X$を$A$の逆行列と呼ぶ。次の命題2.64($n$次行列$A$に対して、$AX=XA=I_{n}$を満たすn次行列Xは、存在すればただ１つである。)より、$A$の逆行列は存在すればただ一つであり、これを$A^{-1}$と表す。

正方行列$A$の逆行列が存在するとき、$A$は正則行列である。⁸

▽掃き出し法の前提知識▽

逆行列の計算は、「行基本変形を行うことは、ある正則行列を左から掛けることと同じ」であることを応用して求めることができます。
であるので、まずは「行基本変形を行うことは、ある正則行列を左から掛けることと同じ」であることを理解していただきたいと思います。
その前に、行基本変形は３種類あることを思い出してください。初めて見る方はここで学みましょう。

連立一次方程式(一次方程式が行方向に複数並んだ方程式)の基本変形(中学校で学んだ連立方程式の解き方)と対応する、行列の行に対する基本変形のことを「行基本変形」といい、以下の３種類の変形が可能です。
１．ある行のc倍を他の行に加えること
２．２つの行を入れ替えること
３．ある行をc≠0倍すること

思い出していただいたところで、「行基本変形を行うことは、ある正則行列を左から掛けることと同じ」であることの説明に入ります。

$ 行列A＝\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix} $
を例に行基本変形をより詳細に分類して、それぞれ変形すると
$ (a-1)第1行をc倍する：\begin{pmatrix}cl & cm & cn\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}c & 0\\ 0 & 1\\ \end{pmatrix}\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}c & 0\\ 0 & 1\\ \end{pmatrix}A $
$ (a-2)第2行をc倍する：\begin{pmatrix}l & m & n\\ cp & cq & cr\\ \end{pmatrix}=\begin{pmatrix}1 & 0\\ 0 & c\\ \end{pmatrix}\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}1 & 0\\ 0 & c\\ \end{pmatrix}A $
$ (b)第1行と第2行を入れ替える：\begin{pmatrix}p & q & r\\ l & m & n\\ \end{pmatrix}=\begin{pmatrix}0 & 1\\ 1 & 0\\ \end{pmatrix}\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}0 & 1\\ 1 & 0\\ \end{pmatrix}A $
$ (c-1)第1行のc倍を第2行に加える：\begin{pmatrix}l & m & n\\ p+cl & q+cm & r+cn\\ \end{pmatrix}=\begin{pmatrix}1 & 0\\ c & 1\\ \end{pmatrix}\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}1 & 0\\ c & 1\\ \end{pmatrix}A $
$ (c-1)第2行のc倍を第1行に加える：\begin{pmatrix}l+cp & m+cq & n+cr\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}1 & c\\ 0 & 1\\ \end{pmatrix}\begin{pmatrix}l & m & n\\ p & q & r\\ \end{pmatrix}=\begin{pmatrix}1 & c\\ 0 & 1\\ \end{pmatrix}A $
それぞれある正方行列が行列Aに左からかかっている形になります。
これら5種類の正方行列には、順に
$\begin{pmatrix}1/c & 0\\ 0 & 1\\ \end{pmatrix},\begin{pmatrix}1 & 0\\ 0 & 1/c\\ \end{pmatrix},\begin{pmatrix}0 & 1\\ 1 & 0\\ \end{pmatrix},\begin{pmatrix}1 & 0\\ -c & 1\\ \end{pmatrix},\begin{pmatrix}1 & -c\\ 0 & 1\\ \end{pmatrix}$
といった逆行列が存在するため、5種類の正方行列は正則行列です。
よって、「行基本変形を行うことは、ある正則行列を左から掛けることと同じ」であると解釈できます。

ここで、「行列Aに行基本変形を次々と行って、行列Bになる」ということについて先ほどの解釈を当てはめると、「行列Aに５種類の正則行列を次々と左から掛けていくとBになる」ことと言えます。
例えば、行列Aに行基本変形を
$ A \hspace{10pt}\rightarrow\hspace{10pt} A_1 \hspace{10pt}\rightarrow\hspace{10pt} A_2 \hspace{10pt}\rightarrow\hspace{10pt} \dots \hspace{10pt}\rightarrow\hspace{10pt} A_s=B\\ \hspace{44pt}∥\hspace{43pt}∥\hspace{89pt}∥\\ \hspace{38pt}P_1A\hspace{24pt}P_2P_1A\hspace{55pt}P_s\dots P_2P_1A $
の様に$s$回施して$B(=A_s)$を得たとすると(ここで$P_1,P_2,\dots ,P_s$は５種類の正則行列たち)、
$B=P_s\dots P_2P_1A$です。さらには、$P_s\dots P_2P_1$を１つの行列$P$で表してしまえば$B=PA$が成り立っているといえます。以上により、

$行列A＝\begin{pmatrix}
l & m & n\\ p & q & r\\ \end{pmatrix} $
について、「何回かの行基本変形により行列$A$が$B$に変形されたとすると、ある正則行列$P$が存在して$B＝PA$が成り立つ」ことを示したことになります。

ここまで長々と行基本変形について説明してきましたが、ここからやっと逆行列の計算方法の説明に入ります。その方法とは掃き出し法です。次項では定理とその証明を行います。

▽掃き出し法の定理▽

$A$を$n$次行列とする。$A$と単位行列$I_n$を並べてできる$n×2n$行列$(A\quad I_n)$を何回かの行基本変形により$(I_n\quad B)$に変形できたならば、$A$は正則であり、さらに$B=A^{-1}$である。⁹

$I_n$

$n$は$n$次元単位行列の次数である。
行列$(A\quad I_n)$
2次行列$A=\begin{pmatrix}a & b\\ c & d\\ \end{pmatrix} $の場合$ \begin{pmatrix}a & b & 1 & 0\\ c & d & 0 & 1\\ \end{pmatrix} $
行列$(I_n\quad B)$
行列$(A\quad I_n)$に何回か行基本変形を繰り返して作る行列で、行列の右側に表れる$B$が行列$A$の逆行列である。

$$
\begin{pmatrix}
a & b & 1 & 0\
c & d & 0 & 1\
\end{pmatrix}\rightarrow
\begin{pmatrix}
1 & 0 & e & f\
0 & 1 & g & h\
\end{pmatrix}
\therefore B=\begin{pmatrix}
e & f\
g & h\
\end{pmatrix}=A^{-1}
$$

▽掃き出し法の証明▽

$(A\quad I_n)$が何回かの行基本変形により$(I_n\quad B)$に変形されたとすると、▽掃き出し法の前提知識▽で求めた「何回かの行基本変形により行列$A$が$B$に変形されたとすると、ある正則行列$P$が存在して$B＝PA$が成り立つ」という性質により
$P(A\quad I_n)=(I_n\quad B)$
を満たす正則行列$P$が存在する。$P(A\quad I_n)=(PA\quad PI_n)=(PA\quad P)$なので、$P(A\quad I_n)=(I_n\quad B)$は
$(PA\quad P)=(I_n\quad B)$,すなわち$PA=I$かつ$P=B$を意味する。
ゆえに$B(=P)$が正則かつ$BA=I_n$である。$B(=P)$が正則ということは$B^{-1}$があるので、それを$BA=I_n$の両辺に左から掛けて$A=B^{-1}$を得る。
逆行列の性質の１つ「$n$次行列Aが正則行列ならば、$A^{-1}$も正則行列であり、$(A^{-1})^{-1}=A$である。」により$A^{-1}=B$が従う。

以上で証明は完了。

▽補足知識▽

逆行列の計算において、$n$次行列$A$が逆行列を持たないことを調べる方法があるので紹介します。
何回かの行基本変形で$(I_n\quad B)$を作るにあたり、$(A\quad I_n)$から階段行列へ変形していきます。その際に、$A$の部分を$I_n$にできない場合があります。たとえば、変形中にある１行の第$n$列までの成分が全て$0$になってしまったときは$A$は正則行列ではないので逆行列を持ちません。ここでは証明は行いませんが、以下のようなイメージを持ってもらえればよいです。
$ (A\quad I_n)=\begin{pmatrix}a & b & c & 1 & 0 & 0\\ d & e & f & 0 & 1 & 0\\ g & h & i & 0 & 0 & 1\\ \end{pmatrix}\rightarrow\begin{pmatrix}1 & 0 & 0 & j & k & l\\ 0 & 0 & 0 & m & n & o\\ 0 & 0 & 1 & p & q & r\\ \end{pmatrix}\rightarrow(I_n\quad B) $
２行目の$n$列までの成分が全て0になってしまっているので$A$は正則行列ではなく、すなわち逆行列を持ちません。

◆余因子展開◆

▽定義▽

$n$次正方行列$A$の$i$行と$j$列を取り除いた小行列を$M_{ij}$と表すとき、$A$の行列式は
$|A|=a_{1j}(-1)^{1+j}|M_{1j}|+a_{2j}(-1)^{2+j}|M_{2j}|+ \dots + a_{nj}(-1)^{n+j}|M_{nj}|$

$|A|=a_{i1}(-1)^{i+1}|M_{i1}|+a_{i2}(-1)^{i+2}|M_{i2}|+ \dots + a_{i2}(-1)^{i+2}|M_{i2}|$¹⁰

一つ目の定義式

$|A|=a_{1j}(-1)^{1+j}|M_{1j}|+a_{2j}(-1)^{2+j}|M_{2j}|+ \dots + a_{nj}(-1)^{n+j}|M_{nj}|$

これは第$j$列についての余因子展開。つまり、各項は、取り除く列として第$j$列を固定して各行を取り除いた場合についての計算式であり、これを足し合わせることにより行列式が求まる。

二つ目の定義式

$|A|=a_{i1}(-1)^{i+1}|M_{i1}|+a_{i2}(-1)^{i+2}|M_{i2}|+ \dots + a_{i2}(-1)^{i+2}|M_{i2}|$

これは第$i$行についての余因子展開。つまり、各項は、取り除く行として第$i$行を固定して各列を取り除いた場合についての計算式であり、これを足し合わせることにより行列式が求まる。

〔終わりに〕

いかがだったでしょうか？固有値分解について理解して計算できるようになりましたか？

今回は、固有値分解の計算に至る前に必要となる線形代数の知識がたくさんあっていつになったら固有値分解が出来るのか気が遠くなりそうでした。読者の皆様には記事の上や下にたくさん移動させてしまって申し訳ないですね。ですが、逆に言えば遠回りして線形代数の重要なポイントを通過してから固有値分解の計算をすることで、線形代数の各知識が固有値分解を通して繋がるConnectingTheDotsみを感じられたのではないでしょうか。

線形代数は文系学生が触れてきた数学とは一味も二味も違って私自身ｶﾝｾﾞﾝﾆﾘｶｲｼﾀ状態にも至れていないのですが一緒に勉強頑張りましょう！！

ちなみに、E資格の対策記事なので「機械学習に固有値分解をどう使ったらいいねん！」ということにも触れておくと、次回特異値分解について取り扱う際にまとめてお伝えできればと思います。しばしお待ちを……。

本記事への感想やご質問、ご指摘などなどお気軽にコメントして頂けると記事の精度がどんどん上がっていきますので是非よろしくお願い致します。それからLGTMやストックをして頂けると記事投稿のモチベーションが爆上がりするのでそちらも是非！

次の記事へ➡【ハックしないE資格対策記-03-】~さようなら、全ての付け焼刃特異値分解~

記事トップに戻る◀

【コンテンツツリー】◀Ｅ資格の関連記事はここから！！

【ハックしないE資格対策記】の各記事をシラバス(2020版)と同じ形式でコンテンツツリーにしています。
気になる記事に一瞬でたどり着けますのでどうぞご活用ください！

〔E資格とは〕

まずはE資格を知ろう

〔応用数学〕

線形代数
- 固有値分解 ←今ココ
- 特異値分解
確率・統計
- 一般的な確率分布
  - ベルヌーイ分布
  - マルチヌーイ分布
  - ガウス分布
- ベイズ則
情報理論

〔機械学習〕

機械学習の基礎
- 学習アルゴリズム
  - タスクT
  - 性能指標P
  - 経験E
- 能力・過剰適合・過少適合
- ハイパーパラメータ
- 検証集合
  - 学習データ、検証データ、テストデータ
  - ホールドアウト法
  - ｋ-分割交差検証法
- 最尤推定
  - 条件付き対数尤度と平均二乗誤差
- 教師あり学習アルゴリズム
  - ロジスティック回帰
  - サポートベクトルマシン
  - 最近傍法、k近傍法
- 教師無し学習アルゴリズム
  - 主成分分析
  - k平均クラスタリング
- 確率的勾配降下法
- 深層学習の発展を促す課題
  - 次元の呪い
実用的な方法論
- 性能指標
- ハイパーパラメータの選択
  - 手動でのハイパーパラメータ調整
  - グリッドリサーチ
  - ランダムリサーチ
  - モデルに基づくハイパーパラメータの最適化

〔深層学習〕

順伝播型ネットワーク
- 線形問題と非線形問題
- コスト関数
  - 最尤推定による条件付き分布の学習
- 出力ユニット
  - ガウス出力分布のための線形ユニット
  - ベルヌーイ出力分布のためのシグモイドユニット
  - マルチヌーイ分布のためのソフトマックスユニット
- 隠れユニット
  - ReRuとその一般化
  - ロジスティックシグモイドとハイパボリックタンジェント
- アーキテクチャの設計
  - 万能近似定理と深さ
- 誤差逆伝播およびその他の微分アルゴリズム
  - 計算グラフ
  - 微積分の連鎖率
  - 誤差逆伝播のための連鎖率の再帰的な適応
  - 全結合MLPでの誤差逆伝播法
  - シンボル間の微分
  - 一般的な誤差逆伝播法
深層モデルのための正則化
- パラメータノルムペナルティー
  - L2パラメータ正則化
  - L1正則化
- データ集合の拡張
- ノイズに対する頑健性
  - 出力目標へのノイズ注入
- 半教師あり学習
- マルチタスク学習
- 早期終了
- スパ――ス表現
- バギングやその他のアンサンブル手法
- ドロップアウト
深層モデルのための最適化
- 学習と純粋な最適化の差異
  - バッチアルゴリズムとミニバッチアルゴリズム
- 基本的なアルゴリズム
  - 確率的勾配降下法
  - モメンタム
  - ネステロフのモメンタム
- パラメータの初期化戦略
- 適応的な学習率を持つアルゴリズム
  - AdaGrad
  - RMSProp
  - Adam
- 最適化戦略とメタアルゴリズム
  - バッチ正規化
  - Layer正規化
  - Instance正規化
  - 教師あり事前学習
畳み込みネットワーク
- 畳み込み処理
- プーリング
- 構造出力
- データの種類
- 効率的な畳み込みアルゴリズム
- 特徴量の転移
回帰結合型ニューラルネットワークと再帰的ネットワーク
- 回帰結合型のニューラルネットワーク
  - 教師強制と出力回帰のあるネットワーク
    ‐ 回帰結合型ネットワークにおける勾配計算(BPTT)
    ‐ 有効グラフィカルモデルとしての回帰結合型のネットワーク
    ‐ RNNを使った文脈で条件付けされた系列モデリング
- 双方向RNN
- Encoder-Decoder と Sequence-to-Sequence
- 深層回帰結合型のネットワーク
- 再帰型ニューラルネットワーク
- 長期依存性の課題
- 複数時間スケールのためのLeakyユニットとその他の手法
  - 時間方向にスキップ接続を追加
  - Leakyユニットと異なる時間のスケールのベクトル
  - 接続の削除
- ゲート付きRNN
  - LSTM
  - GRU
- 長期依存性の最適化
  - 勾配のクリッピング
- メモリネットワーク
  - Attention
生成モデル
- 識別モデルと生成モデル
- オートエンコーダー
  - VAE
- GAN
  - DCGAN
  - Conditional GAN
強化モデル
- 方策勾配法
- 価値反復法
  - DQN
深層学習の適応方法
- 画像認識
  - VGG
  - GoogLeNet
  - ResNet
  - MobileNet
  - DenseNet
- 画像の局在化・検知・セグメンテーション
  - FasterR-CNN
  - YOLO
  - SSD
- 自然言語処理
  - WordEmbedding
  - Transformer
- Text to Speech
  - WaveNet
- スタイル変換
  - pix2pix
- その他
  - AlphaGo

〔開発・運用環境〕

ミドルウェア
- 深層学習ライブラリ
軽量化・高速化技術
- 軽量化技術
  - 量子化
  - 蒸留
  - プルーニング
- 分散処理
  - モデル並列
  - データ並列
- アクセラレータ
  - ＧＰＵ

【参考シラバス】

E資格の試験出題範囲（シラバス）2020
ダウンロードはこちらから

E2022#2(2022年8月26日・27日)の試験からシラバスの出題範囲が変わります。
本シリーズは2020のシラバスを参考に記事を作成しますが、出題範囲の変更分も後々追加で書いていきたいとは考えています。
(もしかしたら別シリーズとして新たにスタートするかもしれません。)
新シラバスのダウンロードはこちらから

【参考文献】

英辞郎 on the WEB『hackの意味・使い方・読み方』 / https://eow.alc.co.jp/search?q=hack / 閲覧2021.12.02 ↩
一般社団法人日本ディープラーニング協会公式ホームページご挨拶 / https://www.jdla.org/about / 閲覧2021.12.02 ↩
一般社団法人日本ディープラーニング協会公式ホームページ E資格概要 / https://www.jdla.org/certificate/engineer / 閲覧2021.12.02 ↩
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/150頁 ↩ ↩²
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/44頁 ↩
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/82頁 ↩
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/72頁より一部簡略化して引用 ↩
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/57頁 ↩
新井啓介・池田京司・出耒光男・國分雅敏・藤澤太郎・三鍋聡司・宮崎桂・山本現共著/ベクトルと行列[基礎から始める線形代数]初版第６刷発行/培風館/2020/86頁 ↩
予備校のノリで学ぶ「大学数学・物理」線形代数入門⑨(行列式：余因子展開)/https://www.youtube.com/watch?v=VwZ0EtT_UiI&list=PLDJfzGjtVLHnc1vTpBaCNKMUl6HauQv1a&index=9 /12:00あたり/閲覧2022.01.24 ↩