[Statistics] 数理統計_多変量正規分布

多変量正規分布

複数の確率変数が同時に正規分布に従い、かつ線形結合しても正規分布になる分布

概念	入力	出力	意味
多変量正規分布	ベクトル $\mathbf{x}$	密度	複数の確率変数の同時分布（正規分布の拡張）

同時分布（多変量正規）

数式表現

\mathbf{X} =
\begin{pmatrix}
X_1 \\\  
X_2 \\\ 
\vdots \\\ 
X_n  
\end{pmatrix} 
\sim N(\boldsymbol{\mu}, \Sigma)

\boldsymbol{\mu} =
\begin{pmatrix}
X_1 \\\  
X_2 \\\ 
\vdots \\\ 
X_n 
\end{pmatrix} 
\quad
\Sigma =
\begin{pmatrix}
\sigma_1^2 & \cdots & \mathrm{Cov}(X_1, X_n) \\\
\vdots & \ddots & \vdots \\\
\mathrm{Cov}(X_n, X_1) & \cdots & \sigma_n^2
\end{pmatrix}

2変量の場合

(X,Y) \sim N
\left(
\begin{pmatrix}
\mu_X \\\
\mu_Y
\end{pmatrix}_,
\begin{pmatrix}
\sigma_X^2 & \sigma_{XY} \\\
\sigma_{XY} & \sigma_Y^2
\end{pmatrix}
\right)

周辺分布

多変量正規分布の各成分は、それぞれ単変量正規分布になる

概念	入力	出力	意味
周辺分布	変数1つ	分布	各変数単体の分布を取り出す

性質

X \sim N(\mu_X, \sigma_X^2)

Y \sim N(\mu_Y, \sigma_Y^2)

👉 どの成分も必ず正規分布になる

条件付き分布

一方の値が分かったとき、もう一方の分布

概念	入力	出力	意味
条件付き分布	条件 $X=x$	分布	条件のもとでの分布（正規になる）

結果

Y \mid X=x \sim N\left(
\mu_Y + \frac{\sigma_{XY}}{\sigma_X^2}(x - \mu_X),
\ \sigma_Y^2 - \frac{\sigma_{XY}^2}{\sigma_X^2}
\right)

相関係数で書くと

\rho = \frac{\sigma_{XY}}{\sigma_X \sigma_Y}

条件付き期待値

E(Y \mid X=x)
=\mu_Y + \rho \frac{\sigma_Y}{\sigma_X}(x - \mu_X)

条件付き分散

V(Y \mid X=x)
=\sigma_Y^2 (1 - \rho^2)

意味のポイント

• 条件付き期待値は回帰直線
• 条件付き分散は相関が強いほど小さくなる

👉 情報が増えると不確実性が減る

線形結合

多変量正規分布の最大の特徴

概念	入力	出力	意味
線形結合	$aX + bY$	正規分布	任意の線形結合も正規分布になる

性質

aX + bY \sim N

期待値

E(aX + bY) = a\mu_X + b\mu_Y

分散（重要）

V(aX + bY)
=a^2 \sigma_X^2
+
b^2 \sigma_Y^2
+
2ab \sigma_{XY}

共分散で書くと

V(aX + bY)
=a^2 \sigma_X^2
+
b^2 \sigma_Y^2
+
2ab \rho \sigma_X \sigma_Y

意味のポイント

• 分散は単純に足せない
• 共分散が必ず効いてくる

独立との関係

多変量正規分布では「無相関＝独立」

\rho = 0
\quad \Longleftrightarrow \quad
X, Y は独立

👉 一般の分布では成立しないが、多変量正規では成立

幾何的な意味

等密度線は楕円になる

(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu}) = \text{一定}

意味

• 分布の形は「楕円」
• 相関があると傾く
• 分散が大きい方向に伸びる

準1級での解法パターン

① 条件付き分布
   → 公式代入

② 線形結合
   → 平均と分散を計算

③ 標準化
   → Zに変換して確率表

まとめ

概念	入力	出力	役割
同時分布	ベクトル	密度	多変数の分布を表す
周辺分布	1変数	分布	各変数単体の分布
条件付き分布	条件付き値	分布	条件のもとでの分布
条件付き期待値	条件 $x$	数値	回帰直線
条件付き分散	条件 $x$	数値	不確実性の大きさ
線形結合	$aX+bY$	分布	正規性を保つ
分散（線形結合）		数値	共分散が効く
独立性	相関係数	判定	$\rho=0$なら独立（特殊性質）