対称行列が対角化できるとなにがうれしいのか？（例）

#はじめに
対称行列が対角化できるとなにがうれしいのか？
おそらくたくさんあるとおもいますが、その例のひとつを体感したのでメモします。

#「対称行列が対角化できる」とは？
まず、もう少し正確に言いなおすと以下のように言い表せます。

$p \times p$の実対称行列$A$には必ず適切な$p \times p$の直交行列$T$が存在し、以下のように対角化できる。

T^{\prime}AT = \Lambda \\
\Lambda = diag(\lambda_{1}, \lambda_{2}, \cdots ,\lambda_{p})

ここで$\Lambda$は$A$の必ずしも相異ならない固有値$\lambda_{1}, \lambda_{2}, \cdots ,\lambda_{p}$を対角要素とする対角行列です。(ちなみに$p \times p$の実対称行列には必ずしも相異ならない$p$個の実数固有値が必ず存在します。)

#多変量正規分布の確率密度関数の積分

対称行列が対角化できると以下の積分結果が正しいことを確認できます。

\int_{-\infty}^{\infty} \ldots \int_{-\infty}^{\infty} f_{X}(x) d x_{1} \cdots d x_{p}=1

ここで

f_{X}(x)=\frac{1}{(2 \pi)^{\frac{p}{2}}(|\Sigma|)^{\frac{1}{2}}} \exp\{-\frac{1}{2}(x-\mu)^{\prime} \Sigma^{-1}(x-\mu)\} \\
x=\left(\begin{array}{c}
x_{1} \\
\vdots \\
x_{p}
\end{array}\right), \mu=\left(\begin{array}{c}
\mu_{1} \\
\vdots \\
\mu_{p}
\end{array}\right), \Sigma = \left(\begin{array}{ccc}
\sigma_{11} & \ldots & \sigma_{1p} \\
\vdots & \ddots & \vdots \\
\sigma_{p1} & \cdots & \sigma_{pp}
\end{array}\right) \\

です。つまり、
この積分は期待値ベクトルが$\mu$で分散共分散行列が$\Sigma$の多変量積分布の確率密度関数$f_{X}(x)$の、$x$の全範囲積分です。
$(x-\mu)^{\prime}$は$(x-\mu)$の転置を意味し、$|\Sigma|$は$\Sigma$の行列式を意味し、$\Sigma^{-1}$は$\Sigma$の逆行列を意味します。(ちなみに$\Sigma$は半正定値行列なので必ずしも逆行列が存在するとは限りません。¹)

#多変量正規分布の確率密度関数を積分する。
では「対称行列が対角化できる」ことを用いてこの積分が正しいことを確認してみましょう。

まず$\Sigma$は実対称行列であるので、その逆行列$\Sigma^{-1}$が存在するとすれば$\Sigma^{-1}$も必ず実対称行列です。²
よって$\Sigma^{-1}$はある直交行列$T$を用いて

T^{\prime}\Sigma^{-1}T = \Lambda \\
\Lambda = diag(\lambda_{1}, \lambda_{2}, \cdots ,\lambda_{p})

と対角化できます。
上述したように$\Lambda$は$\Sigma^{-1}$の必ずしも相異ならない固有値$\lambda_{1}, \lambda_{2}, \cdots ,\lambda_{p}$を対角要素とする対角行列です。
次に

y = T^{\prime}(x - \mu) \\
y=\left(\begin{array}{c}
y_{1} \\
\vdots \\
y_{p}
\end{array}\right)

と変数変換します。すると$x = Ty + \mu$よりヤコビアン$\frac{\partial{(x)}}{\partial{(y)}}$は、

\frac{\partial(x)}{\partial(y)}=\left|\begin{array}{ccc}
\frac{\partial x_{1}}{\partial y_{1}} & \cdots & \frac{\partial x_{1}}{\partial y_{p}} \\
\vdots &  \ddots & \vdots \\
\frac{\partial x_{p}}{\partial y_{1}} & \cdots & \frac{\partial x_{p}}{\partial y_{p}}
\end{array}\right|

であり、$x$は

T=\left(\begin{array}{ccc}
t_{11} & \cdots & t_{1 p} \\
t_{21} & \cdots & t_{2 p} \\
\vdots & & \vdots \\
t_{p 1} & \cdots & t_{p p}
\end{array}\right)

として

x=\left[\begin{array}{c}
x_{1} \\
x_{2} \\
\vdots \\
x_{p}
\end{array}\right]=\left[\begin{array}{c}
t_{11} y_{1}+\cdots+t_{1 p} y_{p}+\mu_{1} \\
t_{21} y_{1}+\cdots+t_{2 p} y_{p}+\mu_{2} \\
\vdots \\
t_{p 1} y_{1}+\cdots+t_{p p} y_{p}+\mu_{p}
\end{array}\right] \\

と表せます。よって

\frac{\partial(x)}{\partial(y)} = |T| = \pm 1 \\
\because 1=| T^{\prime} T|=|T^{\prime}||T|=|T|^{2}

です。また、

|\Sigma| = |\Sigma^{-1}|^{-1} = |T\Lambda T^{\prime}|^{-1} = (|T||\Lambda||T^{\prime}|)^{-1} = |\Lambda|^{-1} = \frac{1}{\lambda_{1} \lambda_{2} \cdots \lambda_{p} }

です。すると$X$を変数変換した$Y$の確率密度関数$f_{Y}(y)$は、

\begin{eqnarray}
f_{Y}(y) &=& \frac{(\lambda_{1} \lambda_{2} \cdots \lambda_{p})^{\frac{1}{2}}}{(2 \pi)^{\frac{p}{2}}} \exp\{-\frac{1}{2}(Ty)^{\prime} \Sigma^{-1}(Ty)\}|\frac{\partial(x)}{\partial(y)}| \\
&=& \frac{(\lambda_{1} \lambda_{2} \cdots \lambda_{p})^{\frac{1}{2}}}{(2 \pi)^{\frac{p}{2}}} \exp\{-\frac{1}{2}y^{\prime}(T^{\prime}\Sigma^{-1}T)y\} \\
&=& \frac{(\lambda_{1} \lambda_{2} \cdots \lambda_{p})^{\frac{1}{2}}}{(2 \pi)^{\frac{p}{2}}} \exp\{-\frac{1}{2}y^{\prime}\Lambda y\} \\
&=& \frac{(\lambda_{1} \lambda_{2} \cdots \lambda_{p})^{\frac{1}{2}}}{(2 \pi)^{\frac{p}{2}}} \exp\{-\frac{1}{2}(\lambda_{1}y_{1}^{2} + \lambda_{2}y_{2}^{2} + \cdots + \lambda_{p}y_{p}^{2})\} \\
&=& (\frac{\lambda_{1}}{2\pi})^{\frac{1}{2}}\exp(-\frac{\lambda_{1}}{2}y_{1}^2) \times (\frac{\lambda_{2}}{2\pi})^{\frac{1}{2}}\exp(-\frac{\lambda_{2}}{2}y_{2}^2) \times \cdots \times (\frac{\lambda_{p}}{2\pi})^{\frac{1}{2}}\exp(-\frac{\lambda_{p}}{2}y_{p}^2)
\end{eqnarray}

と表せます。ここまでくれば後は以下のようにガウス積分で容易に多変量正規分布の確率密度関数を積分できます。
$X$から$Y$へ変数変換しても積分範囲は変わらず、上述のようにヤコビアン$\frac{\partial{(x)}}{\partial{(y)}}$の絶対値は1なので、

\begin{eqnarray}
\int_{-\infty}^{\infty} \ldots \int_{-\infty}^{\infty} f_{X}(x) d x_{1} \cdots d x_{p} &=& \int_{-\infty}^{\infty} \ldots \int_{-\infty}^{\infty} f_{Y}(y) d y_{1} \cdots d y_{p} \\
&=& \prod_{i=1}^{p}\{\int_{-\infty}^{\infty}(\frac{\lambda_{i}}{2\pi})^{\frac{1}{2}}\exp(-\frac{\lambda_{i}}{2}y_{i}^2) d y_{i} \} \\
&=& \prod_{i=1}^{p}\{(\frac{\lambda_{i}}{2\pi})^{\frac{1}{2}}(\frac{2\pi}{\lambda_{i}})^{\frac{1}{2}} \} \\
&=& \prod_{i=1}^{p} \{1\} \\
&=& 1
\end{eqnarray}

と積分結果が$1$になることを確認できます。

#まとめ

• 「対称行列が対角化できる」ことは多変量正規分布の確率変数の積分際に役立ちます。

• 上述の多変量正規分布の確率変数の積分では「対称行列が対角化できる」であること以外にも様々な線形代数の定理を用いています。ここでは「対称行列が対角化できる」ことに焦点を当てて計算方法を説明しました。

• 誤りなどありましたらご指摘いただけると助かります。

#参考にした書籍

• 現代数理統計学の基礎 (共立出版) 久保川
• 統計のための行列代数 D. A. ハーヴィル

1. 分散共分散行列がなぜ半正定値行列であるかはまだ理解できてません。 ↩

2. これを示すには一筋縄ではいきません。 ↩