多変量解析

第1回線形代数の基礎と演習

1. はじめに

多変量解析を学び始めると、最初に「統計の話なのに、なぜ線形代数なのか」と感じることがある。
平均や分散ならまだしも、ベクトルや行列、固有値といった言葉が出てくると、急に数学らしさが強くなるからである。

しかし、多変量解析の対象をよく見てみると、その理由は自然に理解できる。
多変量解析では、1つの対象を1つの数字だけで見るのではなく、複数の特徴をまとめて捉える。たとえば学生1人を考えるだけでも、身長、体重、数学の点数、英語の点数など、いくつもの値が同時に関わってくる。こうした「複数の値をまとめて扱う」ための最も基本的な道具が、線形代数である。

この回では、データをどのように整理して情報へ変えていくのかを確認しながら、その土台となるベクトルと行列の考え方を学ぶ。さらに、内積、射影、基底、逆行列、ランク、線形写像、固有値・固有ベクトルへと進み、多変量解析の入口を形づくっていく。

2. データから情報へ

私たちの身の回りには多くのデータがある。
学生の身長、体重、試験点数、出席回数、あるいは商品の売上、気温、移動距離など、観測された事実や記録はすべてデータと呼ぶことができる。

ただし、データは集めただけではまだ十分ではない。
数字や記録が並んでいるだけでは、そこにどのような意味があるのかは見えてこない。データを整理し、分類し、関係を見出したときにはじめて、それは情報になる。

たとえば、散らばっている点に「orange」や「blue」といったラベルを与えるだけでも、見え方は変わる。
それまでは単なる点の集まりだったものが、「どの点がどの属性に属しているか」という構造を持ち始めるからである。ここで現れるのが、変数と変量という考え方である。変数とは観測する項目であり、変量とはその変数が実際に取る値である。色という変数に対して orange や blue という値があり、身長という変数に対して 170 cm や 165 cm といった値がある。

変数 (variable): 観測する項目
例: 色、身長、年齢、得点
変量 (value): 変数が実際にとる値
例: 色 = orange、身長 = 170 cm

このようにして整理された情報をさらに一歩進めて、複数の変数を同時に扱うのが多変量解析である。
学生1人を「身長」「体重」「数学の点数」「英語の点数」という4つの値で表せば、それは4変量データになる。ここでは、単独の値そのものよりも、それらの間にある関係が重要になる。似ている学生はいるか、どの変数同士が関連しているか、背後に共通する特徴はあるか。多変量解析は、そうした構造を見つけるための学問である。

多変量解析では、こうした複数の変数の間にある相関、類似性、構造、潜在的な特徴を見つけることが目的になる。

3. 数学の準備

こうした複数の値を同時に扱うために、まず必要になるのが線形代数の基本的な言葉である。

最初に出てくるのはスカラーである。これは単なる1つの数であり、3 や -2 や 1.5 のような値がこれにあたる。
次に変数がある。これは値が変わりうる記号であり、$x$、$y$、$\lambda$ などが典型である。

しかし、多変量解析では1つの数だけでは足りない。そこで登場するのがベクトルである。ベクトルは複数の数をまとめたもので、数の並びとしても、方向と大きさを持つ量としても理解できる。さらに複数のベクトルや変換を一括して扱うために行列が現れる。行列は数を長方形状に並べたものであり、データの表現にも変換の表現にも使われる。

このあと学ぶ主成分分析などでは、行列を単なる数表としてではなく、その構造を読み解く対象として見ることになる。そのとき重要になるのが固有値分解や特異値分解である。第1回ではそこまで深く踏み込まないが、後の章でこれらが中心的な役割を果たすことを見通しておきたい。

3.1 スカラー

単なる1つの数である。

例:

3
-2
1.5

3.2 変数

値が変わるものを表す記号である。

例:

$x$
$y$
$\lambda$

3.3 ベクトル

複数の数を並べたものであり、方向と大きさを持つ量としても解釈できる。

例:

\mathbf{a} = \begin{pmatrix} 4 \\ 3 \end{pmatrix}

3.4 行列

数を長方形状に並べたものである。

例:

A=
\begin{pmatrix}
2 & 1 \\
4 & 3
\end{pmatrix}

3.5 固有値分解・特異値分解

多変量解析では、行列の構造を理解するために固有値分解や特異値分解が重要となる。
主成分分析でも固有値・固有ベクトルが中核的役割を果たす。

4. ベクトル

ベクトルには行ベクトルと列ベクトルがある。
たとえば $(4,3)$ は行ベクトルであり、

\begin{pmatrix}
4\\
3
\end{pmatrix}

は列ベクトルである。
意味としてはどちらも同じ成分を持っているが、線形代数では列ベクトルを基本として扱うことが多い。多変量解析でも、1人の学生を1本の列ベクトルとして表す、といった見方が自然である。

行ベクトル

(4, 3)

列ベクトル

\begin{pmatrix}
4 \\
3
\end{pmatrix}

通常、線形代数では列ベクトルを基本として扱うことが多い。

4.2 ベクトルの大きさ（ノルム）

ベクトルには大きさがある。
ベクトル

\mathbf{a}=
\begin{pmatrix}
1\\
2
\end{pmatrix}

の大きさは

\|\mathbf{a}\| = \sqrt{1^2 + 2^2} = \sqrt{5}

である。
これは平面上で見れば、原点から点 $(1,2)$ までの距離に対応している。

一般に、

\mathbf{a}=
\begin{pmatrix}
a_1\\
a_2\\
\vdots\\
a_n
\end{pmatrix}

の大きさは

\|\mathbf{a}\| = \sqrt{a_1^2+a_2^2+\cdots+a_n^2}

である。

4.3 零ベクトル

一方、すべての成分が 0 のベクトルは零ベクトルと呼ばれる。零ベクトルは長さ 0 を持ち、方向を持たない特別なベクトルである。

\mathbf{0}=
\begin{pmatrix}
0\\
0
\end{pmatrix}

4.4 単位ベクトル

さらに、大きさが 1 のベクトルを単位ベクトルという。どんな零ベクトルでないベクトルも、その向きを保ったまま長さだけを 1 にそろえることができる。たとえば

\mathbf{e}=\frac{\mathbf{a}}{\|\mathbf{a}\|}

とすれば、$\mathbf{e}$ は $\mathbf{a}$ と同じ向きの単位ベクトルになる。

例:

\mathbf{a}=
\begin{pmatrix}
3\\
4
\end{pmatrix}
\quad \Rightarrow \quad
\|\mathbf{a}\|=5

したがって、

\mathbf{e}=
\begin{pmatrix}
3/5\\
4/5
\end{pmatrix}

4.5 基本ベクトル

2次元空間では、とくに重要な2本のベクトルがある。それが

\mathbf{e}_1=
\begin{pmatrix}
1\\
0
\end{pmatrix},
\quad
\mathbf{e}_2=
\begin{pmatrix}
0\\
1
\end{pmatrix}

である。
これらは x 軸方向と y 軸方向を表す基本ベクトルであり、任意の2次元ベクトルはこの2本を使って表せる。たとえば

\begin{pmatrix}
a\\
b
\end{pmatrix}
=
a\mathbf{e}_1+b\mathbf{e}_2

である。
この見方は後で基底の考え方につながっていく。

5. ベクトルの演算

ベクトルを使う面白さは、単に並べて眺めるだけでなく、計算できるところにある。

まず、同じ次元のベクトルどうしは足し算や引き算ができる。成分ごとに足したり引いたりすればよいので、

\begin{pmatrix}
a_1\\
a_2
\end{pmatrix}
+
\begin{pmatrix}
b_1\\
b_2
\end{pmatrix}
=
\begin{pmatrix}
a_1+b_1\\
a_2+b_2
\end{pmatrix}

となる。
これは平面上では、矢印を平行移動してつなぎ合わせる操作に対応している。

\begin{pmatrix}
a_1\\
a_2
\end{pmatrix}
-
\begin{pmatrix}
b_1\\
b_2
\end{pmatrix}
=
\begin{pmatrix}
a_1-b_1\\
a_2-b_2
\end{pmatrix}

また、ベクトルは数をかけることもできる。これをスカラー倍という。たとえば

c
\begin{pmatrix}
a_1\\
a_2
\end{pmatrix}
=
\begin{pmatrix}
ca_1\\
ca_2
\end{pmatrix}

である。
係数 $c$ が大きければベクトルは伸び、負なら向きが反転する。こうしてベクトルは、長さも向きも変化させながら操作できる対象として理解される。

6. 位置ベクトル

点の座標とベクトルは深く結びついている。
原点 $O=(0,0)$ から点 $A=(1,2)$ へ向かうベクトルを考えると、

\overrightarrow{OA}=
\begin{bmatrix}
1\\
2
\end{bmatrix}

となる。
これを点 $A$ の位置ベクトルという。

位置ベクトルを用いると、図形の問題も数の問題として扱いやすくなる。点をただの場所としてではなく、原点からのベクトルとして見ることで、加法や内積などの演算をそのまま使えるようになるからである。

7. 内積と外積

7.1 内積

ベクトルに対して定義される演算の中でも、とくに重要なのが内積である。
2つのベクトル

\mathbf{a}=
\begin{pmatrix}
a_1\\
a_2
\end{pmatrix},
\quad
\mathbf{b}=
\begin{pmatrix}
b_1\\
b_2
\end{pmatrix}

の内積は

\mathbf{a}\cdot\mathbf{b}=a_1b_1+a_2b_2

で与えられる。
これは単なる計算式に見えるが、幾何学的には

\mathbf{a}\cdot\mathbf{b}=\|\mathbf{a}\|\,\|\mathbf{b}\|\cos\theta

とも表される。つまり内積は、2つのベクトルの長さと、そのなす角を同時に含んでいる。

内積の式をまとめて書くと、

(a_1 \quad a_2)\cdot
\begin{pmatrix}
b_1\\
b_2
\end{pmatrix}
=
a_1 b_1 + a_2 b_2
=
\sum_{i=1}^{2} a_i b_i
=
\lvert \vec{a} \rvert \,\lvert \vec{b} \rvert \cos\theta

となる。

この式から、内積の値が大きいときは似た方向を向いており、0 なら直交し、負なら反対向きに近いことがわかる。
線形代数の式だけで幾何の性質まで語れるところに、内積の重要さがある。

内積の値は、

値が大きい: 似た方向
0: 直交
負: 反対向きに近い

ということを意味する。

例

\mathbf{a}=
\begin{pmatrix}
5\\
2
\end{pmatrix},
\quad
\mathbf{b}=
\begin{pmatrix}
3\\
8
\end{pmatrix}

\mathbf{a}\cdot\mathbf{b}=5\cdot3+2\cdot8=15+16=31

7.2 外積

外積は主に3次元で定義される演算であり、結果としてベクトルが得られる。その大きさは

\|\mathbf{a}\times\mathbf{b}\|=\|\mathbf{a}\|\,\|\mathbf{b}\|\sin\theta

で表される。
外積は2本のベクトルが張る平行四辺形の面積や、回転の向きと関係している。多変量解析の中心は内積や行列にあるが、外積を知っておくことで「方向」や「面積」に対する理解が広がる。

8. 射影

多変量解析で重要になる考え方の1つに、ある方向への成分を見るというものがある。
その典型が射影である。

8.1 正射影ベクトルの説明

ベクトル $\overrightarrow{OB}$ を $\overrightarrow{OA}$ の方向へ写したものを射影という。

これは「$\overrightarrow{OB}$ のうち、$\overrightarrow{OA}$ 方向にどれだけ成分があるか」を表している。

多変量解析では、ある軸方向への成分を見ることが非常に重要であり、主成分分析でもこの考え方が登場する。

図において、赤いベクトル $\overrightarrow{OH}$ は、ベクトル $\overrightarrow{OB}$ をベクトル $\overrightarrow{OA}$ の方向へ正射影したベクトルである。
ここでは、この $\overrightarrow{OH}$ が

\overrightarrow{OH}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}{\|\overrightarrow{OA}\|^2}\,\overrightarrow{OA}

と表される理由を、式を省略せずに説明する。

8.2 正射影ベクトルは実数倍で表される

ここで大事なのは、$\overrightarrow{OH}$ は $\overrightarrow{OA}$ と同じ方向を向いているため、ある実数 $t$ を用いて

\overrightarrow{OH} = t\overrightarrow{OA}

と書けることである。
ここで求めたいのは、この係数 $t$ である。

8.3 垂直条件を使う

図より、$\overrightarrow{BH}$ は $\overrightarrow{OA}$ に垂直である。
したがって、

\overrightarrow{BH}\perp\overrightarrow{OA}

である。

また、ベクトルの差を用いると

\overrightarrow{BH}
=
\overrightarrow{OB} - \overrightarrow{OH}

であり、さらに $\overrightarrow{OH} = t\overrightarrow{OA}$ を代入すると、

\overrightarrow{BH}
=
\overrightarrow{OB} - t\overrightarrow{OA}

となる。

垂直な2つのベクトルの内積は 0 なので、

\overrightarrow{BH}\cdot\overrightarrow{OA}=0

すなわち

(\overrightarrow{OB} - t\overrightarrow{OA})\cdot\overrightarrow{OA}=0

が成り立つ。

8.4 内積を展開する

分配則より、

\overrightarrow{OB}\cdot\overrightarrow{OA}
-
t(\overrightarrow{OA}\cdot\overrightarrow{OA})
=0

となる。

これを $t$ について解くと、

t(\overrightarrow{OA}\cdot\overrightarrow{OA})
=
\overrightarrow{OB}\cdot\overrightarrow{OA}

したがって、

t
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\overrightarrow{OA}\cdot\overrightarrow{OA}}

を得る。

ここで、

\overrightarrow{OA}\cdot\overrightarrow{OA}
=
\|\overrightarrow{OA}\|^2

であるから、

t
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OA}\|^2}

となる。

8.5 射影ベクトルを求める

最初に

\overrightarrow{OH} = t\overrightarrow{OA}

とおいたので、これに上で求めた $t$ を代入すると、

\overrightarrow{OH}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OA}\|^2}\,\overrightarrow{OA}

となる。

これが、$\overrightarrow{OB}$ を $\overrightarrow{OA}$ に正射影したベクトルである。

8.6 長さとの関係

正射影ベクトルの長さだけを考えると、

\|\overrightarrow{OH}\|
=
\|\overrightarrow{OB}\|\cos\theta

である。
ここで $\theta$ は $\overrightarrow{OB}$ と $\overrightarrow{OA}$ のなす角である。

一方、内積の定義より、

\overrightarrow{OB}\cdot\overrightarrow{OA}
=
\|\overrightarrow{OB}\|\,\|\overrightarrow{OA}\|\cos\theta

なので、

\cos\theta
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OB}\|\,\|\overrightarrow{OA}\|}

である。

これを $|\overrightarrow{OH}|=|\overrightarrow{OB}|\cos\theta$ に代入すると、

\|\overrightarrow{OH}\|
=
\|\overrightarrow{OB}\|
\cdot
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OB}\|\,\|\overrightarrow{OA}\|}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OA}\|}

となる。

したがって、正射影ベクトル $\overrightarrow{OH}$ は

向きは $\overrightarrow{OA}$ と同じ
長さは $\dfrac{\overrightarrow{OB}\cdot\overrightarrow{OA}}{|\overrightarrow{OA}|}$

であると理解できる。

8.7 正射影のまとめ

ベクトル $\overrightarrow{OB}$ を $\overrightarrow{OA}$ に正射影したベクトルは、

\boxed{
\overrightarrow{OH}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}{\|\overrightarrow{OA}\|^2}\,\overrightarrow{OA}
}

である。

この式は、

$\overrightarrow{OH}$ が $\overrightarrow{OA}$ の実数倍であること
$\overrightarrow{BH}$ が $\overrightarrow{OA}$ に垂直であること
垂直なベクトルどうしの内積が 0 であること

を用いて導かれる。

8.8 導出だけをまとめた式

\overrightarrow{OH}=t\overrightarrow{OA}

\overrightarrow{BH}
=
\overrightarrow{OB}-\overrightarrow{OH}
=
\overrightarrow{OB}-t\overrightarrow{OA}

\overrightarrow{BH}\perp\overrightarrow{OA}
\quad\Rightarrow\quad
(\overrightarrow{OB}-t\overrightarrow{OA})\cdot\overrightarrow{OA}=0

\overrightarrow{OB}\cdot\overrightarrow{OA}
-
t(\overrightarrow{OA}\cdot\overrightarrow{OA})=0

t=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\overrightarrow{OA}\cdot\overrightarrow{OA}}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}
{\|\overrightarrow{OA}\|^2}

\therefore\quad
\overrightarrow{OH}
=
\frac{\overrightarrow{OB}\cdot\overrightarrow{OA}}{\|\overrightarrow{OA}\|^2}\,\overrightarrow{OA}

9. 基底・一次独立・一次従属・一次結合

ベクトルを何本か集めたとき、それらが空間をどのように表しているかを考えるのが、この節のテーマである。

9.1 基底

まず、空間内の任意のベクトルを一次結合で表すことができ、しかも互いに一次独立であるようなベクトルの組を基底という。
2次元空間での $\mathbf{e}_1,\mathbf{e}_2$ はその最も典型的な例である。

\overrightarrow{e}_1=
\begin{bmatrix}
1\\
0
\end{bmatrix},
\quad
\overrightarrow{e}_2=
\begin{bmatrix}
0\\
1
\end{bmatrix}

基底という考え方は、空間に座標軸を与えることだと考えるとわかりやすい。どんなベクトルも、その基底に沿った「成分」として表される。多変量解析では、どの基底でデータを見るかによって、見え方が大きく変わる。主成分分析は、まさに「見やすい基底を探す」方法だと言ってよい。

9.2 一次独立

一次結合によって零ベクトルができるとき、係数がすべて 0 の場合しかないなら、そのベクトルたちは一次独立であるという。

c_1\overrightarrow{e}_1+c_2\overrightarrow{e}_2+\cdots+c_n\overrightarrow{e}_n=\overrightarrow{0}

で、$c_1=c_2=\cdots=c_n=0$ の場合しかないなら、
$\overrightarrow{e}_1,\overrightarrow{e}_2,\dots,\overrightarrow{e}_n$ は一次独立である。

9.3 一次従属

逆に、0 でない係数を使っても零ベクトルができてしまうなら、それらは一次従属である。

c_1\overrightarrow{e}_1+c_2\overrightarrow{e}_2+\cdots+c_n\overrightarrow{e}_n = \overrightarrow{0}

上式で、少なくとも1つが0でない係数でも成立する場合、そのベクトルの組は一次従属である。

例

青の矢印 $\overrightarrow{e}_1=(0,2)$ とオレンジの矢印 $\overrightarrow{e}_2=(0,1)$ を基底ベクトルとするとき、緑のベクトル $\overrightarrow{e}_3=(-2,1)$ は基底ベクトルの一次結合で表すことができる。

故に、青とオレンジと緑のベクトルの組は線形従属である。

\overrightarrow{e}_3 = -2 \overrightarrow{e}_1 + \overrightarrow{e}_2

9.4 一次結合

まず、いくつかのベクトルを係数付きで足し合わせたものを一次結合という。

c_1\overrightarrow{e}_1+c_2\overrightarrow{e}_2+\cdots+c_n\overrightarrow{e}_n

の形のものが一次結合である。

10. 行列

ベクトルが「複数の値を並べたもの」だとすれば、行列は「複数のベクトルや複数の変換をまとめて表すもの」と考えることができる。

10.1 行列の定義

たとえば

A=
\begin{pmatrix}
4 & 1 & 2\\
-9 & -2 & 3
\end{pmatrix}

は $2\times 3$ 行列である。
行が2本、列が3本あり、表のような形をしている。

10.2 正方行列

このうち、行数と列数が等しいものを正方行列という。正方行列は、逆行列や行列式、固有値など、多くの重要な概念の舞台になる。

例:

A=
\begin{pmatrix}
4 & 1\\
-9 & -2
\end{pmatrix}

10.3 単位行列

また、対角成分がすべて1で他が0のものは単位行列と呼ばれる。

I_n = \operatorname{diag}(1,1,1,\dots,1)

$2\times2$ の場合は、

I_2=
\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}

となる。

10.4 対角行列

対角成分以外が0のものは対角行列と呼ばれる。

D = \operatorname{diag}(c_1,c_2,c_3,\dots,c_n)

対角行列は特に扱いやすい。なぜなら、その逆行列は対角成分をそれぞれ逆数にするだけでよいからである。計算しやすい行列の代表として、対角行列は後の理論でもたびたび現れる。

例

\operatorname{diag}\!\left(1,\,10,\,-8,\,7\right)^{-1}
=
\begin{bmatrix}
1 & 0 & 0 & 0 \\
0 & 10 & 0 & 0 \\
0 & 0 & -8 & 0 \\
0 & 0 & 0 & 7
\end{bmatrix}^{-1}

=
\begin{bmatrix}
1^{-1} & 0 & 0 & 0 \\
0 & 10^{-1} & 0 & 0 \\
0 & 0 & (-8)^{-1} & 0 \\
0 & 0 & 0 & 7^{-1}
\end{bmatrix}

=
\begin{bmatrix}
1 & 0 & 0 & 0 \\
0 & 0.1 & 0 & 0 \\
0 & 0 & -0.125 & 0 \\
0 & 0 & 0 & \dfrac{1}{7}
\end{bmatrix}
=
\operatorname{diag}\!\left(1,\,0.1,\,-0.125,\,\frac{1}{7}\right)

11. 行列の演算

行列は足し算、引き算、スカラー倍ができる。ただし、足し算や引き算は同じサイズの行列どうしでしかできない。
さらに、行列はベクトルに作用させることができる。これが「行列が変換を表す」という考え方の出発点である。

11.1 加法・減法

\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
+
\begin{pmatrix}
w & x\\
y & z
\end{pmatrix}
=
\begin{pmatrix}
a+w & b+x\\
c+y & d+z
\end{pmatrix}

11.2 スカラー倍

3
\begin{pmatrix}
1 & 2\\
3 & 4
\end{pmatrix}
=
\begin{pmatrix}
3 & 6\\
9 & 12
\end{pmatrix}

11.3 行列とベクトルの積

\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
\begin{pmatrix}
e\\
f
\end{pmatrix}
=
\begin{pmatrix}
ae+bf\\
ce+df
\end{pmatrix}

11.4 行列の積

これは「変換を続けて行う」と考えると理解しやすい。最初にある変換を行い、そのあと別の変換を行う。その2段階の操作を、1つの行列積としてまとめることができるのである。

\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
\begin{pmatrix}
e & f\\
g & h
\end{pmatrix}
=
\begin{pmatrix}
ae+bg & af+bh\\
ce+dg & cf+dh
\end{pmatrix}

12. 逆行列

数に逆数があるように、行列にも逆の役割を果たすものがある。
正方行列 $A$ に対し、

AA^{-1}=A^{-1}A=I

を満たす行列 $A^{-1}$ を逆行列という。

2次の正方行列

A=
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}

に対しては、

A^{-1}=\frac{1}{ad-bc}
\begin{pmatrix}
d & -b\\
-c & a
\end{pmatrix}

である。
ここに現れる $ad-bc$ は行列式であり、これが 0 だと逆行列は存在しない。

つまり、逆行列が存在するかどうかは、その行列が「元に戻せる変換かどうか」を意味している。多変量解析でも、変数変換や連立方程式の解法の中で、逆行列の発想はたびたび現れる。

例

A=
\begin{pmatrix}
2 & 1\\
4 & 4
\end{pmatrix}

\det(A)=2\cdot4-1\cdot4=4

したがって、

A^{-1}=
\frac{1}{4}
\begin{pmatrix}
4 & -1\\
-4 & 2
\end{pmatrix}

13. 行列式

2次行列

A=
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}

に対して

\det(A)=ad-bc

を行列式という。

行列式は単なる計算道具ではない。幾何学的には面積の拡大率を表し、代数的には逆行列の存在条件を与え、さらに固有値の積とも関係している。
一見ばらばらに見えるこれらの話題が、実は1つの量でつながっているところに、線形代数のおもしろさがある。

例

\begin{pmatrix}
2 & 1\\
3 & 4
\end{pmatrix}

の行列式は

2\cdot4-1\cdot3=5

である。

行列式は、

面積の拡大率
逆行列の存在
固有値の積

などと深く関係する。

14. ランク

行列には、どれくらい独立な情報が含まれているかを表す指標がある。それがランクである。
ランクとは、行列の中に含まれる独立な行または列の最大数であり、掃き出し法によって求められる。

階段形に変形したとき、0でない行の数がランクになる。
このことは、見た目には大きな行列であっても、実際にはどれだけ本質的な情報を持っているかが限られている場合があることを意味している。

多変量解析では、変数どうしが似すぎていて情報が重複していることがある。ランクは、そうした冗長性や次元の本質を見抜くための重要な概念である。

ランクは、

情報の重複の有無
次元の大きさ
行列の退化の程度

を表す重要な量である。

15. 直交行列

直交行列は、長さや角度を保つ特別な行列である。
正方行列 $Q$ が

Q^TQ = QQ^T = I

を満たすとき、$Q$ を直交行列という。
これは $Q^T=Q^{-1}$ が成り立つことと同値である。

Q^{T}=Q^{-1}

Q^{T}Q=
\begin{pmatrix}
0 & 1 & 0 \\
1 & 0 & 0 \\
0 & 0 & 1
\end{pmatrix}
\begin{pmatrix}
0 & 1 & 0 \\
1 & 0 & 0 \\
0 & 0 & 1
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{pmatrix}
=I

QQ^{T}=
\begin{pmatrix}
0 & 1 & 0 \\
1 & 0 & 0 \\
0 & 0 & 1
\end{pmatrix}
\begin{pmatrix}
0 & 1 & 0 \\
1 & 0 & 0 \\
0 & 0 & 1
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{pmatrix}
=I

直交行列は、平面や空間における回転や反射を表すのに適している。
データの見方を変えるとき、「長さや角度を壊さずに座標だけを変える」ことはよくあり、そのとき直交行列が活躍する。主成分分析の基底変換でも、この考え方が背景にある。

例:

2次元 $2\times2$ の回転行列

\begin{pmatrix}
\cos\theta & -\sin\theta\\
\sin\theta & \cos\theta
\end{pmatrix}

2次元 $2\times2$ の置換行列

\begin{pmatrix}
0 & 1\\
1 & 0
\end{pmatrix}

16. トレース

正方行列の対角成分を足し合わせたものをトレースという。

\mathrm{tr}(A)=a_{11}+a_{22}+\cdots+a_{nn}=\sum_{i=1}^{n}a_{ii}

トレースは見た目には素朴な量だが、のちに固有値の和に等しいことがわかる。
行列の複雑な構造が、対角成分の和という単純な形に現れるのは興味深い。こうした関係式が、線形代数を単なる計算技術ではなく、構造を読む学問にしている。

17. 線形写像（一次変換）

行列を本当に理解するには、それを「数表」ではなく「変換」として見るのがよい。
行列 $A$ によって

\mathbf{x}'=A\mathbf{x}

と書けるとき、これはベクトル $\mathbf{x}$ が新しいベクトル $\mathbf{x}'$ に写されることを意味する。これを線形写像または一次変換という。

線形写像は、図形に対して回転、拡大縮小、せん断、反射などを与える。
多変量解析では、元のデータを別の軸で見直したり、よりわかりやすい方向へ並べ替えたりするが、その多くは線形写像として記述できる。

例

\begin{bmatrix}
x' \\
y'
\end{bmatrix}
=
\begin{bmatrix}
A_{00} & A_{01} \\
A_{10} & A_{11}
\end{bmatrix}
\begin{bmatrix}
x \\
y
\end{bmatrix}
\quad\Longleftrightarrow\quad
\left\{
\begin{aligned}
x' &= A_{00}x + A_{01}y \\
y' &= A_{10}x + A_{11}y
\end{aligned}
\right.

行列の各成分が、元の $x,y$ をどう混ぜ合わせて新しい座標を作るかを示している。

18. 固有値と固有ベクトル

線形写像によって多くのベクトルは向きも長さも変わる。
しかし中には、変換されても向きが変わらない特別なベクトルがある。これが固有ベクトルであり、そのときの拡大率が固有値である。

18.1 定義

正方行列 $A$ に対し、

A\mathbf{x}=\lambda \mathbf{x}

を満たすスカラー $\lambda$ を固有値、0 でないベクトル $\mathbf{x}$ を固有ベクトルという。

これは、「変換しても向きが変わらない特別な方向」を意味する。

18.2 固有方程式

この式を変形すると

(\lambda I-A)\mathbf{x}=0

となる。$(A-\lambda I)\mathbf{x}=0$ でもよい。
非自明解 $\mathbf{x}\neq 0$ が存在するためには、

\det(\lambda I-A)=0

でなければならない。これが固有方程式または特性方程式である。

例

たとえば

A=
\begin{pmatrix}
3 & -2\\
1 & 0
\end{pmatrix}

に対しては、

\det(\lambda I-A)
=
\begin{vmatrix}
\lambda-3 & 2\\
-1 & \lambda
\end{vmatrix}

=(\lambda-3)\lambda - 2(-1)
= \lambda^2 - 3\lambda + 2

= (\lambda-1)(\lambda-2)

となるので、固有値は

\lambda=1,\ 2

である。

$\lambda=1$ のとき、

(I-A)\mathbf{x} = 0

\begin{pmatrix}
-2 & 2\\
-1 & 1
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0 \\
0
\end{pmatrix}

-2x_1+2x_2=0

-x_1+x_2=0

したがって、

x_1=x_2

なので、固有ベクトルは

x =
\begin{pmatrix}
1 \\
1
\end{pmatrix}

の定数倍である。

$\lambda=2$ のとき、

\begin{pmatrix}
-1 & 2\\
-1 & 2
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0 \\
0
\end{pmatrix}

x_1-2x_2=0

したがって、

x_1=2x_2

なので、固有ベクトルは

x =
\begin{pmatrix}
2 \\
1
\end{pmatrix}

の定数倍である。

固有値とトレース・行列式の関係

行列 $A$ の固有値を $\lambda_1,\lambda_2,\dots,\lambda_n$ とすると、

\mathrm{tr}(A)=\lambda_1+\lambda_2+\cdots+\lambda_n

\det(A)=\lambda_1\lambda_2\cdots\lambda_n

が成り立つ。

固有値と固有ベクトルは、多変量解析の後半で極めて重要になる。
たとえば主成分分析では、共分散行列の固有値と固有ベクトルを調べることで、データがもっともよく広がっている方向を見つける。第1回で学ぶ内容は、そのための準備になっている。

19. おわりに

この回では、データを情報として捉え、多変量として整理するところから始めて、それを扱うための線形代数の基礎を見てきた。
ベクトルは複数の値をまとめて表すための道具であり、行列はそれらを変換したり整理したりするための道具である。内積は方向の関係を測り、射影はある方向への成分を取り出し、基底は空間の見方そのものを定める。さらに、逆行列、ランク、直交行列、線形写像、固有値と固有ベクトルは、多変量解析の核心へ向かうための入口となる。

第1回で扱った内容は、個々には初等的に見えるかもしれない。
しかし、それらはすべて後の主成分分析、判別分析、クラスタ分析などにつながっている。多変量解析とは、複数の変数の集まりをどう見て、どう整理し、どう意味づけるかを考える学問である。その最初の一歩として、線形代数は欠かせない土台なのである。

20. 練習問題

20.1

20.2

20.3