大学で数学科に入学した頃、
「大学以上のレベルの数学を学んでいくにあたって線形代数と微分積分を学ぶということは英語を学ぶ際にまずアルファベットを覚えることに相当する」と教わりました。
つまり、線形代数と微分積分が出来ないとお話しにならないってことです。

統計学も例外ではなく、理論を学ぶにあたって線形代数と微分積分の基礎知識は不可欠です。
特に線形代数については統計学専攻の研究室に入った後かなり勉強しなおす羽目になってしまいました。

以上の経験から、ここでは統計学を学ぶ際に頻用する線形代数の知識を随時更新という形でまとめていこうと思います。

固有値と行列式の関係

$n$ 次正方行列 $A$ の固有値を $\lambda_1, \lambda_2, \cdots, \lambda_n$ とする. このとき,
$$
\mathrm{det}(A) = \lambda_1 \lambda_2 \cdots \lambda_n
$$が成立します.

固有値とトレースの関係

$n$ 次正方行列 $A$ の固有値を $\lambda_1, \lambda_2, \cdots, \lambda_n$ とする. このとき,
$$
\mathrm{tr}(A) = \lambda_1 + \lambda_2 + \cdots + \lambda_n
$$が成立します.

行列積のトレース

$A$: $n$ 行 $m$ 列の行列, $B$: $m$ 行 $n$ 列の行列のとき,
$$
\mathrm{tr}(AB) = \mathrm{tr}(BA)
$$が成立します.

半正定値行列・正定値行列

【定義】半正定値行列

$n$ 次実対称行列 $A$ が半正定値であるとは,
任意の $n$ 次実ベクトル $\boldsymbol{x}$ (零ベクトルでもよい)に対し,
$$
\boldsymbol{x}^T A \boldsymbol{x} \geq 0
$$が成立することを言います.

【定義】正定値行列

$n$ 次実対称行列 $A$ が正定値であるとは,
任意の $n$ 次実ベクトル $\boldsymbol{x} (\neq \boldsymbol{0})$ に対し,
$$
\boldsymbol{x}^T A \boldsymbol{x} > 0
$$が成立することを言います.

性質

半正定値行列 + 半正定値行列 = 半正定値行列
半正定値行列 + 正定値行列 = 正定値行列
正定値行列 + 正定値行列 = 正定値行列
0以上の定数 × 半正定値行列 = 半正定値行列
0以上の定数 × 正定値行列 = 半正定値行列
正の定数 × 半正定値行列 = 半正定値行列
正の定数 × 正定値行列 = 正定値行列
「正定値ならば半正定値」は成立。「半正定値ならば正定値」は不成立
半正定値行列は固有値がすべて0以上
- 行列式は固有値の積なので, 半正定値行列の行列式は0以上
- トレースは固有値の和なので, 半正定値行列のトレースは0以上
逆に, 固有値がすべて0以上の実対称行列は半正定値
半正定値行列の対角成分はすべて0以上
半正定値かつ正則ならば正定値
正定値行列は固有値がすべて正
- 行列式は固有値の積なので, 正定値行列の行列式は正。よって逆行列を持つ
- トレースは固有値の和なので, 正定値行列のトレースは正
逆に, 固有値がすべて正の実対称行列は正定値
正定値行列の対角成分はすべて正
正定値行列の逆行列も正定値行列
半正定値行列も正定値行列も平方根行列を持つ(後述)

自明な半正定値行列

$A^T A$ や $AA^T$($A$ は任意の実行列) という形をした行列は見た瞬間に半正定値行列と判断してOK.
なぜなら,
$$
\boldsymbol{x}^T A^T A \boldsymbol{x} = (A \boldsymbol{x})^T (A \boldsymbol{x})=||A\boldsymbol{x}||^2 \geq 0 \ (\mbox{$||\cdot||$ はユークリッドノルム})
$$となるから.

自明な正定値行列

$A^T A + \lambda I$ や $AA^T + \lambda I$ ($A$ は実行列, $\lambda$ は正定数, $I$ は単位行列) という形をした行列は見た瞬間に正定値行列と判断してOK.
なぜなら,
まず, $A^T A$ や $AA^T$ は上述の通り半正定値.
単位行列は固有値が1のみの実対称行列なので明らかに正定値.
「正の定数 × 正定値行列 = 正定値行列」なので $\lambda I$ も正定値.
「半正定値行列 + 正定値行列 = 正定値行列」なので, $A^T A + \lambda I$ や $A A^T + \lambda I$ も正定値となるわけです.

$A^T A$ や $AA^T$ だけだと正則行列である保証はできませんが, $\lambda I$ を付加することで正則性が保証されるようになりますので, 正定数 $\lambda$ のことを正則化パラメータと呼ぶことがあります.

実対称行列の対角化

$n$ 次実対称行列 $A$ の固有値が $\lambda_1, \lambda_2, \cdots, \lambda_n$, 固有ベクトル(正規直交化済み)が $\boldsymbol{p}_1, \boldsymbol{p}_2, \cdots, \boldsymbol{p}_n$ で与えられるとき,
$D = \left( \begin{array}{cccc} \lambda_1 \\ & \lambda_2 \\ & & \ddots \\ & & & \lambda_n \end{array} \right)$
$P = (\boldsymbol{p}_1, \boldsymbol{p}_2, \cdots, \boldsymbol{p}_n)$ とおくと, $P$ は直交行列($P^T P = PP^T = I_n$)であり, なおかつ
$$
A = PDP^T
$$が成立する.

半正定値行列・正定値行列の平方根行列

$n$ 次実対称行列 $A$ は半正定値であるとします. 上述の通り, 実対称行列は固有値と固有ベクトルを使って対角化可能です.
$$
A = PDP^T
$$ここで,

半正定値行列の固有値 $\lambda_1, \lambda_2, \cdots, \lambda_n$ はすべて0以上だから, 各々実数の平方根を持つ
対角行列の２乗は, 対角成分を各々2乗するだけでよい
以上2点に注意すると,
$$
D = \left( \begin{array}{cccc} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} \\ & & \ddots \\ & & & \sqrt{\lambda_n} \end{array} \right)^2
$$と表せることがわかります. そこで,

$$
D^{\frac{1}{2}} = \left( \begin{array}{cccc} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} \\ & & \ddots \\ & & & \sqrt{\lambda_n} \end{array} \right)
$$と定義しましょう. すると,

$$
\begin{eqnarray}
A
&=& PDP^T \
&=& PD^{\frac{1}{2}} \cdot D^{\frac{1}{2}} P^T \
&=& PD^{\frac{1}{2}}P^T \cdot PD^{\frac{1}{2}} P^T \ (\because P^TP = I_n) \
&=& (PD^{\frac{1}{2}}P^T)^2
\end{eqnarray}
$$となります. 行列 $PD^{\frac{1}{2}}P^T$ を $A$ の平方根行列といい, $A^{\frac{1}{2}}$ のように表記します.
正定値行列も同様に平方根行列が存在します.

正定値行列の逆行列を対角化の結果をもとに求める

$A$ は $n$ 次実対称の正定値行列とします. 実対称行列の対角化可能性より,
$$
A = PDP^T
$$ただし,
$$
D = \left( \begin{array}{cccc} \lambda_1 \\ & \lambda_2 \\ & & \ddots \\ & & & \lambda_n \end{array} \right)
$$ $\lambda_1, \lambda_2, \cdots, \lambda_n$: $A$ の固有値.
正定値行列の固有値はすべて正なので, それぞれ逆数をとることが可能. また, 対角行列の逆行列は対角成分それぞれの逆数をとればいいだけなので,
$$
D^{-1} = \left( \begin{array}{cccc} \frac{1}{\lambda_1} \\ & \frac{1}{\lambda_2} \\ & & \ddots \\ & & & \frac{1}{\lambda_n} \end{array} \right)
$$よって,
$$
A^{-1} = (P^T)^{-1} D^{-1} P^{-1} = P D^{-1} P^T
$$

行列のランクに関する公式

$$
\mathrm{rank}(A^T A) = \mathrm{rank}(AA^T) = \mathrm{rank}(A)
$$したがって, $A$ が列フルランクなら $A^TA$ は正則, $A$ が行フルランクなら $AA^T$ は正則.