この記事は個人的なお勉強用のメモです。
線形代数
線形代数とは、主に行列を扱う数学。
用語
-
行列
行と列で構成された値の集まり。 -
正方行列
行の次数と列の次数が同じ行列。 -
零行列
すべての成分が0の行列 -
単位行列
対角成分がすべて $1$。そのほかの成分がすべて $0$ の行列。
ある行列に単位行列をかけても、元の行列の値は変わらない。
スカラーの掛け算でいう $1$ に相当する。
$E$ や $I$ と書く。 -
対角行列
対角成分が $0$ 以外、そのほかの成分がすべて0の行列。
同じ対角行列を $n$ 回掛け算すると、対角成分の値が $n$ 乗になる。 -
対象行列
対角成分の一方側と他方側が対称になっている行列。 -
逆行列
ある行列に対してその行列を掛けると、単位行列になるというその行列。
スカラーでいう逆数に相当する。
$A^{-1}$で表す。 -
正則行列
行列 $A$ が逆行列を持つとき、$A$ は正則行列であるという。 -
転置行列
ある行列の行と列を入れ替えた行列。
$A^T$ で表す。 -
直行行列
転置行列＝逆行列 であるような行列。 -
係数行列
連立一次方程式の係数部分のみを抜き出して行列にしたもの。 -
定数項ベクトル
連立一次方程式の右辺をベクトルにしたもの。 -
拡大係数行列
係数行列と定数項ベクトルを横に並べて書いた行列。 -
行列式
行列に対して所定の手順で求めた値。スカラー値。 -
固有値と固有ベクトル
$Ax＝λx$ を満たす場合、$λ$ が固有値。$x$ が固有ベクトル。 -
固有値
$Ax＝λx$ を満たす場合、$λ$ が固有値。固有値はスカラー値。次数の数だけ存在する。
ただし、重解がありうる。 -
固有ベクトル
$Ax＝λx$ を満たす場合、$x$ が固有ベクトル。固有ベクトルは固有値の個数だけ存在する。
先に固有値を求めて、固有値ごとの固有ベクトルを求める。値が唯一に決まるものではなく、ベクトル内で比率は一定。 -
固有方程式
固有値を求める際に生成する、固有値をλとしたときの方程式。
行列式 $|A-λE| = 0$ が固有方程式。 -
特異値分解
正方行列以外の行列を固有値分解のように分解すること。
行列 $M$ を分解すると、$M=UST^T$ の形式になる。 -
左特異ベクトル
特異値分解した式の $U$ の部分。
正方行列 $MM^T$ を固有値分解したときの固有ベクトルに相当する。 -
右特異ベクトル
特異値分解した式の $V$ の部分。
正方行列 $M^TM$ を固有値分解したときの固有ベクトルに相当する。 -
特異値
特異値分解した式の $S$ の部分。
$MM^T$ や $M^TM$ の固有値の平方根に相当する。
行列の演算
行列はほぼスカラーと同じ演算ができる。
行列の足し算
$A + B$
$A$ と $B$ の次数が同じ場合に計算できる。
行列の成分ごとに足し算をする。
$A + B = B + A$ が成り立つ。
行列の引き算
$A - B$
$A$ と $B$ の次数が同じ場合に計算できる。
行列の成分ごとに引き算をする。
行列の掛け算
$AB$
$A$ の列数と $B$ の行数が同じ場合に計算できる。
$m_1 \times n$ 行列 と $n \times m_2$ 行列 を掛け算すると、$m_1 \times m_2$ 行列になる
$A$ の各行と $B$ の各列の成分同士を掛け算して、それぞれの掛け算の結果を全部足す。
スカラーとは異なり、一般的に $AB≠BA$ である。（交換はできない）
連立一次方程式と行列の関係
連立一次方程式は、行列で表現できる。
ax + by = e\\
cx + dy = f
のとき、
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\begin{pmatrix}
e\\
f
\end{pmatrix}
逆行列の求め方
掃き出し法
逆行列は掃き出し法で求める。
行列を $A$ とする。
- $A$ と単位行列を左右に並べて書く。（左に $A$、右に単位行列、その間に縦棒を書く）
- $A$ が単位行列になるよう、行基本変形を使って変形していく。
変形する際は、$A$ だけでなく、単位行列側も同様に行基本変形を適用する。 - $A$ が単位行列になると、単位行列側が $A$ の逆行列になっている。
行基本変形
- 行を $c$ 倍する
- $2$ つの行を相互に入れ替える
- ある行に、別の行の $c$ 倍を加える
行列式
行列式の求め方
$2 \times 2$ 行列の場合、行列式の値は $ad-bc$ 。
$3 \times 3$ 以上の行列の場合、余因子展開を使って、次数を $1$ つずつ減らしていく。
$3 \times 3$ の行列の場合のみ、行列式の値はサラスの方法で求められる。
サラスの方法
$3 \times 3$ 行列の行列式のみで計算可能。
(a_{11} a_{22} a_{33}) + (a_{12} a_{23} a_{31}) + (a_{21} a_{32} a_{13}) - (a_{13} a_{22} a_{31}) - (a_{12} a_{21} a_{33}) - (a_{11} a_{32} a_{23})
余因子展開
行列内の基準になる行または列を $1$ つ決める。
どの行(列)でもいいが、$0$ が多い行(列)が計算が楽。
（行基本変形をして、$0$ の行(列)を多く作ることもできる。行基本変形をしても、行列式の値は変わらない）
基準の行(列)に対して、成分ごとに計算して全部足す。
計算は以下の3つを掛ける。
- その成分の値
- (行番号＋列番号)乗
- その成分の行と列を含まない、残りの行列（小行列）
固有値と固有ベクトル
$Ax = λx$
変形して
$(A - λE) = 0$
この左辺の行列の行列式が $0$ になる。
この等式（固有方程式）を解く。
次数の個数だけ、固有値 $λ$ が求まる。
固有値ごとに固有ベクトルを求める。
固有値分解
固有値分解とは
正方行列 $A$ を以下のように分解することを固有値分解という。
$A= V Λ V^{-1}$
$V$：固有ベクトルの集まり
$Λ$：対角成分に固有値を並べた対角行列
固有値分解のメリット
複数回 $A$ を掛け算するときに便利。
普通だと、$A$ を複数回掛け算するときは、$A$ の行の成分と列の成分の計算が多く必要。
しかし、固有値分解された式を使うと、例えば $A$ を $2$ 回掛ける場合、
\begin{align}
AA &= (V Λ V^{-1}) (V Λ V^{-1})\\
&= V Λ (V^{-1} V) Λ V-1\\
&= V Λ E Λ V^{-1}\\
& = V Λ^2 V^{-1}
\end{align}
ここで、$Λ$ の $n$ 乗は簡単に計算できる。（対角成分だけが $n$ 乗なので）
固有値分解の方法
行列の $A$ のすべての固有値と固有ベクトルを求める。
それぞれの固有値を、$Λ$（対角行列）内の左上から順に並べる。（普通は降順に並べる）
並べた順番に、固有ベクトルを左から $V$ に並べる。
特異値分解
固有値分解は正方行列でのみ使える。
逆にいうと、正方行列以外の行列では固有値分解が使えない。
正方行列以外の行列に対して分解するには、特異値分解を使う。
分解対象の行列を $M$ とする。
M=USV^T\\
.\\
\begin{align}
U&：左特異ベクトル（正規直交系）\\
S&：特異値（対角行列のような行列）\\
V&：右特異ベクトル（正規直交系）
\end{align}
となるような、$U$,$S$,$V$ を求める。
$MM^T$ および $M^TM$ は正方行列であることから、以下のそれぞれの式で、特異値と特異ベクトルが求まる。
MM^T=USS^TU^T（固有値分解によって、UとSが求まる）\\
M^TM=VSS^TV^T（固有値分解によって、VとSが求まる）
演習問題
1.1
問1.1.1
\begin{align}
\vec{a}+\vec{b}&=
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
+
\begin{pmatrix}
5\\
2\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
1+5\\
6+2\\
3+4
\end{pmatrix}
\\
&=
\begin{pmatrix}
6\\
8\\
7
\end{pmatrix}
\end{align}
問1.1.2
\begin{align}
\vec{a}-\vec{b}&=
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
-
\begin{pmatrix}
5\\
2\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
1-5\\
6-2\\
3-4
\end{pmatrix}
\\
&=
\begin{pmatrix}
-4\\
4\\
-1
\end{pmatrix}
\end{align}
問1.1.3
\begin{align}
7\vec{a}&=
7
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
7 \times 1\\
7 \times 6\\
7 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
7\\
42\\
21
\end{pmatrix}
\end{align}
問1.1.4
\begin{align}
8(\vec{a}+\vec{b})
&=8
\begin{pmatrix}
6\\
8\\
7
\end{pmatrix}
\quad 問1.1.1の解答を利用
\\
&=
\begin{pmatrix}
48\\
64\\
56
\end{pmatrix}
\end{align}
問1.2.1
\begin{align}
A+B&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
+
\begin{pmatrix}
1 & 4\\
1 & 5
\end{pmatrix}
\\
&=
\begin{pmatrix}
2+1 & 1+4\\
5+1 & 3+5
\end{pmatrix}
\\
&=
\begin{pmatrix}
3 & 5\\
6 & 8
\end{pmatrix}
\end{align}
問1.2.2
\begin{align}
A-3B&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
-3
\begin{pmatrix}
1 & 4\\
1 & 5
\end{pmatrix}
\\
&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
-
\begin{pmatrix}
3 & 12\\
3 & 15
\end{pmatrix}
\\
&=
\begin{pmatrix}
-1 & -11\\
2 & -12
\end{pmatrix}
\end{align}
問2.1.1
\begin{align}
A\vec{v}
&=
\begin{pmatrix}
1 & 3 & 4\\
5 & 9 & 0\\
3 & 1 & 2
\end{pmatrix}
\begin{pmatrix}
1\\
0\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
1 \times 1 + 3 \times 0 + 4 \times 3\\
5 \times 1 + 9 \times 0 + 0 \times 3\\
3 \times 1 + 1 \times 0 + 2 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
13\\
5\\
9
\end{pmatrix}
\end{align}
問2.1.2
\begin{align}
B\vec{v}
&=
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}
\begin{pmatrix}
1\\
0\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
1 \times 1 + 0 \times 0 + 3 \times 3\\
0 \times 1 + 2 \times 0 + 5 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
10\\
15
\end{pmatrix}
\end{align}
問2.1.3
\begin{align}
BA
&=
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}
\begin{pmatrix}
1 & 3 & 4\\
5 & 9 & 0\\
3 & 1 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
10 & 6 & 10\\
25 & 23 & 10
\end{pmatrix}
\end{align}
問2.1.4
\begin{align}
B^T &=
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}^T
\\
&=
\begin{pmatrix}
1 & 0\\
0 & 2\\
3 & 5
\end{pmatrix}
\end{align}
問2.2.1
\begin{align}
AB&=
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}
\\
&=
\begin{pmatrix}
5 & 7\\
7 & 13
\end{pmatrix}
\end{align}
問2.2.2
\begin{align}
A^{-1}
&=
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}^{-1}
\\
&=
\frac{1}{2 \times 1 - 1 \times 4}
\begin{pmatrix}
1 & -1\\
-4 & 2
\end{pmatrix}
\\
&=
-\frac{1}{2}
\begin{pmatrix}
1 & -1\\
-4 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{1}{2} & \frac{1}{2}\\
2 & -1
\end{pmatrix}
\end{align}
問2.2.3
\begin{align}
B^{-1}
&=
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}^{-1}
\\
&=
-\frac{1}{8}
\begin{pmatrix}
1 & -3\\
-3 & 1
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\end{align}
問2.2.4
\begin{align}
BAB^{-1}
&=
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\\
&=
\begin{pmatrix}
14 & 4\\
10 & 4
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{2}{8} & \frac{38}{8}\\
\frac{2}{8} & \frac{26}{8}
\end{pmatrix}
\end{align}
問7.1
\begin{align}
\vec{a}+\vec{b}&=
\begin{pmatrix}
2\\
6\\
3
\end{pmatrix}
+
\begin{pmatrix}
1\\
1\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
3\\
7\\
7
\end{pmatrix}
\end{align}
問7.2
\begin{align}
Ax &= \lambda x\\
\begin{pmatrix}
1 & 4\\
2 & 3
\end{pmatrix}
\begin{pmatrix}
1\\
1
\end{pmatrix}
&=
\lambda
\begin{pmatrix}
1\\
1
\end{pmatrix}
\\
\therefore \lambda &= 5
\end{align}
修了テスト～練習問題～
例題43（固有値）
\begin{pmatrix}
3 & 1\\
1 & 3
\end{pmatrix}
の固有値を求めるには、$λ$ に関する以下の固有方程式を解く。
\begin{vmatrix}
3-λ & 1\\
1 & 3-λ
\end{vmatrix}
=0
\begin{align}
(3-λ)^2 - 1 &= 0\\
λ^2 -6λ + 8 &= 0\\
(λ - 4) (λ - 2) &= 0\\
λ &= 4, 2
\end{align}
$\lambda_1 > \lambda_2$ より、$\lambda_1 = 4, \lambda_2 = 2$
例題44（固有ベクトル）
例題43の結果より、$λ_1=4$
このとき、
\begin{pmatrix}
-1 & 1\\
1 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}
\\
\Leftrightarrow
x_1 - x_2 = 0
$x_1=s_1$と置くと、$x_2=s_1$
x= s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
（比率は1:1）
今回、$2$ 行目の値が $3$ なので、$1$ 行目の値も $3$ 。
例題45（固有値分解）
対角化した $Y$ というのは $Λ$ のこと。
行列 $X$ の固有値を求めればよい。
例題43より $λ=4,2$ であるため、対角化した行列は
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
または
\begin{pmatrix}
2 & 0\\
0 & 4
\end{pmatrix}
この中から一致する正解を選択する。
例題46（固有値分解）
$X^n$ を求める。
\begin{align}
X^n &= (PYP^{-1}) (PYP^{-1}) ... (PYP^{-1})\\
&= P Y^n P^{-1}
\end{align}
$P$ と $P^{-1}$ を求める。
(i) $λ=4$ のとき
例題43で $x$を計算済み。
x=s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
(ii) $λ=2$のとき
\begin{pmatrix}
1 & 1\\
1 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}
\\
\Leftrightarrow
x_1 + x_2 = 0
$x_1=s_2$ とおくと、$x_2=-s_2$
x= s_2
\begin{pmatrix}
1\\
-1
\end{pmatrix}
上記より、
\begin{align}
Y&=
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\\
Y^n&=
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
...
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
4^n & 0\\
0 & 2^n
\end{pmatrix}
\\
\\
P&=
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}
\\
P^{-1}&=-\frac{1}{2}
\begin{pmatrix}
-1 & -1\\
-1 & 1
\end{pmatrix}\\
&=\frac{1}{2}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
\\
X^n&=
P Y^n P^{-1}\\
&= \frac{1}{2}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}
\begin{pmatrix}
4^n & 0\\
0 & 2^n
\end{pmatrix}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
&= \frac{1}{2}
\begin{pmatrix}
4^n & 2^n\\
4^n & -2^n
\end{pmatrix}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
&= \frac{1}{2}
\begin{pmatrix}
4^n+2^n & 4^n-2^n\\
4^n-2^n & 4^n+2^n
\end{pmatrix}
\\
&=
\begin{pmatrix}
\frac{1}{2}(4^n + 2^n) & \frac{1}{2}(4^n - 2^n)\\
\frac{1}{2}(4^n - 2^n) & \frac{1}{2}(4^n + 2^n)
\end{pmatrix}\\
\end{align}
例題39（特異値分解、転置行列）
A=
\begin{pmatrix}
3 & 2 & 2\\
2 & 3 & -2
\end{pmatrix}
,
A^T=
\begin{pmatrix}
3 & 2\\
2 & 3\\
2 & -2
\end{pmatrix}
\\
\begin{align}
AA^T &=
\begin{pmatrix}
3 & 2 & 2\\
2 & 3 & -2
\end{pmatrix}
\begin{pmatrix}
3 & 2\\
2 & 3\\
2 & -2
\end{pmatrix}\\
&=
\begin{pmatrix}
17 & 8\\
8 & 17
\end{pmatrix}
\end{align}
例題40（特異値分解、固有値）
\begin{align}
AA^T
&=
\begin{pmatrix}
17 & 8\\
8 & 17
\end{pmatrix}
\end{align}
より\\
\begin{align}
\begin{vmatrix}
17-λ & 8\\
8 & 17-λ
\end{vmatrix}
&= 0\\
(17-λ)^2&=8^2\\
17-λ&=\pm 8\\
λ&=25, 9
\end{align}
λ_1 > λ_2 より、λ_1 = 25, λ_2 = 9
例題41（特異値分解、固有ベクトル）
(i) $λ=25$ のとき
\begin{pmatrix}
-8 & 8\\
8 & -8
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\\
\Leftrightarrow
-x_1+x2=0
$x_1=s_1$ と置くと、$x_2=s_1$
x=s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
$U$ の (1,1) 成分の値は $\frac{1}{\sqrt{2}}$ であるため、上記の式を $\sqrt{2}$ で割ると、
x=s_1
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
(ii) $λ=9$ のとき
\begin{pmatrix}
8 & 8\\
8 & 8
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\\
\Leftrightarrow
x_1+x2=0
$x_1=s_2$ と置くと、$x_2=-s_2$
x=s_2
\begin{pmatrix}
1\\
-1
\end{pmatrix}
$U$ の (1,1) 成分の値は $\frac{1}{\sqrt{2}}$ であるため、上記の式を $\sqrt{2}$ で割ると、
x=s_2
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
-\frac{1}{\sqrt{2}}
\end{pmatrix}
(i)と(ii)より、
U=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{pmatrix}
例題42（特異値分解、右特異ベクトル）
V^T=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0\\
\frac{1}{\sqrt{18}} & -\frac{1}{\sqrt{18}} & x\\
\frac{2}{3} & -\frac{2}{3} & -\frac{1}{3}
\end{pmatrix}
右特異ベクトルは正規直交系であることから、2列目と3列目に対して
内積（成分同士の掛け算の総和）が $0$ であることを利用する。
\begin{align}
\frac{1}{\sqrt{2}} \times 0 + -\frac{1}{\sqrt{18}} \times x + (-\frac{2}{3}) \times (-\frac{1}{3}) &= 0\\
-\frac{1}{\sqrt{18}} x + \frac{2}{9} &= 0\\
x&=\frac{2\sqrt{18}}{9} \\
&=\frac{2\sqrt{18}}{9} \times \frac{\sqrt{18}}{\sqrt{18}}\\
&=\frac{2・18}{9\sqrt{18}}\\
&=\frac{4}{\sqrt{18}}
\end{align}