応用数学 第1章 線形代数

#1．はじめに
　線形代数について学習した内容をレポートとしてまとめました．

#2．スカラーとベクトル
####　スカラー
　　　・1，2，10などの普段よく使っている普通の数
　　　・四則演算が可能
　　　・ベクトルに対する係数になれる

####　ベクトル
　　　・「大きさ」と「方向」を持ったもの
　　　・スカラーを縦，または横に並べたもの
　　　・矢印で図示される
　　　　　　　　　　　　例：

\vec{a}=
\begin{pmatrix}
1 \\
2
\end{pmatrix}
，
\vec{b}=
\begin{pmatrix}
1 \\
3 \\
2
\end{pmatrix}

#3．行列
　　・スカラーを表形式に並べたもの
　　・ベクトルを並べたもの
　　・ベクトルの変換に用いられる
　　　　　　　　　　　　例：

\begin{pmatrix}
1 & 3\\
2 & 4
\end{pmatrix}
，
\begin{pmatrix}
1 & 4 & 7\\
2 & 5 & 8\\
3 & 6 & 9
\end{pmatrix}

#4．行列とベクトルの積，行列同士の積
　　　　　行列とベクトルの例：

\begin{pmatrix}
1 & 4\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
2\\
3
\end{pmatrix}
=
\begin{pmatrix}
1×2 & + & 4×3\\
2×2 & + & 5×3
\end{pmatrix}
=
\begin{pmatrix}
2+12\\
4+15
\end{pmatrix}
=
\begin{pmatrix}
14\\
19
\end{pmatrix}

　　　　　行列同士の例：

\begin{pmatrix}
1 & 4\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
3 & 5\\
2 & 7
\end{pmatrix}
=
\begin{pmatrix}
1×3+4×2 & 1×5+5×7\\
2×3+5×2 & 2×5+5×7 
\end{pmatrix}

=
\begin{pmatrix}
3+8 & 5+35\\
6+10 & 10+35 
\end{pmatrix}
=
\begin{pmatrix}
11 & 40\\
16 & 45
\end{pmatrix}

　　　　　**※行列やベクトルの積では，前者の列数と後者の行数が同じでなければいけない．**

#5．連立方程式と行列
　連立方程式を解く際に行う変換は，行列における行基本変形と同じである．
　以下に行基本変形の例を示す．
　　　　　例：

  x_1 + 2x_2 = 3\\
2x_1 + 5x_2 = 5

　　　　　これを行列，ベクトルで表現すると

\begin{pmatrix}
1 & 2\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
5
\end{pmatrix}

　　　　　1行目を-2倍した値を2行目に足すと

\begin{pmatrix}
1 & 2\\
0 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
-1
\end{pmatrix}

　　　　　さらに，2行目を-2倍した値を1行目に足すと

\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
5\\
-1
\end{pmatrix}

　　　　　となり，解は以下のように求まる．

x_1 = 5\\
x_2 = -1

#6．逆行列
　行列の「逆数」のようなもの
　Aという行列があった時，逆行列A^-1は，それぞれ以下のように表される．

A =
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}

\\
A^{-1} =
\frac{1}{ad-cb}
\begin{pmatrix}
d & -b\\
-c & a
\end{pmatrix}

　また，ad-bc（行列式）が0の時，逆行列は存在しない．
　分母に0はありえないことからも理解できる．

　次のような対角成分が1，それ以外の成分が0の行列を単位行列と呼ぶ．
　以下に3×3の単位行列の例を示す．

I = 
\begin{pmatrix}
1 & 0 & 0\\
0 & 1 & 0\\
0 & 0 & 1
\end{pmatrix}

　逆行列は逆数のような性質を持つため，行列Aと逆行列A^-1の積は単位行列となる．

\\
AA^{-1} = I

　また，両辺に行列Aをかけると次のようになる．

\\
A = IA

#7．行列式
　行列の性質を決める指標の一つ
　2×2の行列式の求め方は6．逆行列で示した通りである．
　ある行列が２つのベクトルの組み合わせだと考えたとき，
　2つのベクトルで構成される平行四辺形の面積が、逆行列の有無を判別する．

　3×3の場合は次のように求める．

\begin{pmatrix}
a & b & c\\
d & e & f\\
g & h & i
\end{pmatrix}
=aei+dhc+bfg−ceg−bdi−afh

#8．固有値分解
　あるベクトルに線形変換（行列を掛ける）を施すと通常は，方向と大きさが変わる．
　大きさのみが変わり，方向が変わらない時のベクトルを固有ベクトル（x）といい，
　この時の定数倍（スカラー）を固有値（λ）と呼ぶ．

　以下に式を示す．

A\vec{x}=λ\vec{x}

　3×3の固有値分解の例を示す．
　この時，固有ベクトルv1,v2,v3を並べた行列をVとした時，次のように表される．

V=
\begin{pmatrix}
\ &  & \\
\vec{v_1} & \vec{v_2} & \vec{v_3}\\
 &  & 
\end{pmatrix}

　この時，行列Aのとの関係式は

AV=VA

　そして次のように変形できる．

A=VAV^{-1}

　このように式を変換することを固有値分解と呼ぶ．

#9．特異値分解
　固有値分解は行列が正方行列の時にできる変形であった．
　正方行列でない時にも似たようなことができる変形を特異値分解と呼ぶ．

　正方行列でない行列をM，単位ベクトル（特異ベクトル）をv,u，
　係数をσ（特異値）とした時の関係式は次のようになる．

M\vec{v}=σ\vec{u} \\
M^T\vec{u}=σ\vec{v} 

　ここで，特異値を対角線上に並べた行列を次のように示す．

S=
\begin{pmatrix}
λ_1 &  & \\
 & λ_2 & \\
 &  & λ_3
\end{pmatrix}

　そこで，特異値に対応した特異ベクトルを並べた行列をそれぞれU，Vとすると

MV=US \\
M^{T}U=VS^{T} \\
M=USV^{−1} \\
M^{T}=VS^{T}U^{-1} \\

　と表すことができ，MとM^Tの積は次のように変形できる．

MM^{T}=USV^{−1}VS^{T}U^{−1}=USS^{T}U^{−1}

　このことから，MとM^Tの積を固有値分解することで
　左特異ベクトルと特異値の2乗が求まることが分かる．