はじめに
- 本記事ではブロック行列を用いた最小二乗基準について述べています
- 多重対応分析や一般化正準相関分析の目的関数として出てくる表現となります
- そのうち多重対応分析や一般化正準相関分析についてまとめます
- 内容は「シリーズ〈行動計量の科学〉 非計量多変量解析法」をもとに作成しております
- 非常に良い本です！みなさまぜひ手に取ってみてください！
準備
- $n \times K_j$ のデータ行列 $\mathbf{X}_j ~ (j = 1, 2, \ldots, m)$ を第jブロックとする $n \times K$ の行列 $\mathbf{X}$ と定義する。
\begin{align}
\mathbf{X} = [\mathbf{X}_1, \ldots, \mathbf{X}_m]
\end{align}
ここで、
\begin{align}
K = \sum_{j=1}^m K_j
\end{align}
である
- $\mathbf{X}$ の行に対応する $n \times p$ の行列 $\mathbf{F}$、および、$\mathbf{X}_j$ の列に対応する $p \times p$ の行列 $\mathbf{W}_j (j = 1, 2, \ldots, m)$ を求めるために 2つの基準を次の性質で扱う。
\begin{align}
\mathbf{W} = \begin{bmatrix} \mathbf{W}_1 \\ \vdots \\ \mathbf{W}_m \end{bmatrix} = [\mathbf{W}_1', \ldots, \mathbf{W}_m']'
\end{align}
性質
- $\mathbf{X}_j$ に右から重み行列 $\mathbf{W}_j$ を乗じた行列 $\mathbf{X}_j \mathbf{W}_j$ と$\mathbf{F}$の二乗誤差からなる基準変数
\begin{align}
g(\mathbf{F}, \mathbf{W}) = \sum_{j=1}^m || \mathbf{X}_j \mathbf{W}_j - \mathbf{F} ||^2
\end{align}
と定義する。また、
\begin{align}
h(\mathbf{F}, \mathbf{W}) = || \mathbf{F} \mathbf{D}_{\mathbf{X}}^{-1/2} - \frac{1}{n} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2} ||^2
\end{align}
を定義する。ここで、
\begin{align}
\mathbf{D}_{\mathbf{X}} = b \text{-diag}(\mathbf{X}_1' \mathbf{X}_1, \ldots, \mathbf{X}_m' \mathbf{X}_m)
\end{align}
は $\mathbf{X}_j' \mathbf{X}_j$ の第$j$対角ブロックとする $K \times K$ の正則な対角行列である。
ブロック行列を用いた最小二乗表現
\begin{align}
\frac{1}{n}\mathbf{F}' \mathbf{F} = I_p
\end{align}
の下で $g(\mathbf{F}, \mathbf{W})$ を最小にする $\mathbf{F}, \mathbf{W}$ と $h(\mathbf{F}, \mathbf{W})$ を最小にする $\mathbf{F}, \mathbf{W}$ は同じである。
証明
$g(\mathbf{F}, \mathbf{W})$ を展開すると、
\begin{align}
g(\mathbf{F}, \mathbf{W})
&= \sum_{j=1}^m || \mathbf{X}_j \mathbf{W}_j - \mathbf{F} ||^2 \\
&= \sum_{j=1}^m \text{tr} \{ (\mathbf{X}_j \mathbf{W}_j - \mathbf{F})' (\mathbf{X}_j \mathbf{W}_j - \mathbf{F}) \}\\
&= \sum_{j=1}^m \text{tr} \{ \mathbf{W}_j' \mathbf{X}_j' \mathbf{X}_j \mathbf{W}_j - \mathbf{W}_j' \mathbf{X}_j' \mathbf{F} - \mathbf{F}' \mathbf{X}_j \mathbf{W}_j + \mathbf{F}' \mathbf{F} \} \\
&= \sum_{j=1}^m \text{tr} \{ \mathbf{W}_j' \mathbf{X}_j' \mathbf{X}_j \mathbf{W}_j - 2 \mathbf{F}' \mathbf{X}_j \mathbf{W}_j + \mathbf{F}' \mathbf{F} \} \\
&= \text{tr} \left\{ [\mathbf{W}_1, \ldots, \mathbf{W}_m] b \text{-diag}(\mathbf{X}_1' \mathbf{X}_1, \ldots, \mathbf{X}_m' \mathbf{X}_m) \begin{bmatrix} \mathbf{W}_1 \\ \vdots \\ \mathbf{W}_m \end{bmatrix} \right\} - 2 \text{tr} \{ [\mathbf{W}_1, \ldots, \mathbf{W}_m] \begin{bmatrix} \mathbf{X}_1' \\ \vdots \\ \mathbf{X}_m' \end{bmatrix} \mathbf{F} \} + nmp \\
&= \text{tr} (\mathbf{W}' \mathbf{D}_{\mathbf{X}} \mathbf{W}) - 2 \text{tr} (\mathbf{W}' \mathbf{X}'\mathbf{F}) + + nmp
\end{align}
が得られる。また、
\begin{align}
nh(\mathbf{F}, \mathbf{W})
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} - \frac{1}{n} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2} ||^2 \\
&= n \left( || \mathbf{X}\mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \frac{1}{n} \text{tr} (\mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2} (\mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2})') - 2 \text{tr} (\mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} (\mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2})) \right) \\
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \frac{1}{n} \text{tr} ( (\mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2})' (\mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2})) - 2 \text{tr} (\mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2})\\
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \frac{1}{n} \text{tr} (\mathbf{D}_{\mathbf{X}}^{1/2} \mathbf{W} \mathbf{F}' \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2}) - 2 \text{tr} (\mathbf{X}\mathbf{D}_{\mathbf{X}}^{-1/2} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2}) \\
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \frac{1}{n} \text{tr} (\mathbf{D}_{\mathbf{X}}^{1/2} \mathbf{W} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2}) - 2 \text{tr} (\mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2}) \\
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \text{tr} (\mathbf{W} \mathbf{W}' \mathbf{D}_{\mathbf{X}}) - 2 \text{tr} (\mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} \mathbf{F} \mathbf{W}' \mathbf{D}_{\mathbf{X}}^{1/2}) \\
&= n || \mathbf{X} \mathbf{D}_{\mathbf{X}}^{-1/2} ||^2 + \text{tr} (\mathbf{W}' \mathbf{D}_{\mathbf{X}} \mathbf{W}) - 2 \text{tr} (\mathbf{W}' \mathbf{X}'\mathbf{F})
\end{align}
となる。$g(\mathbf{F}, \mathbf{W})$ と $h(\mathbf{F}, \mathbf{W})$ を比較すると、パラメータ行列 $\mathbf{F}$ と $\mathbf{W}$ に関わる部分は同じとなる。