2変数線形判別分析では, 群間変動$w^{T}S_Bw$を大きく, 群内変動$w^{T}S_Ww$を小さくしたい. つまり以下の$\lambda$の最大化を目指す.
\lambda = \frac{w^{T}S_{B}w}{w^{T}S_ww}
ここで, $S_B$は半正定値行列, $S_W$は正定値行列より, $\lambda \ge 0$.
$w^{T}S_ww=1$のもと, ラグランジュの未定乗数法を用いると,
S_W^{-1}S_Bw = \lambda w
となり, $S_W^{-1}S_B$の最大固有値を求めればよいことがわかる.
ここで, $S_B$のランクは1より, $S_W^{-1}S_B$のランクも1となる.
行列のランク$\ge$非ゼロ固有値の数 より, $S_W^{-1}S_B$は最大で1つの非ゼロ固有値$(>0)$を持つ. よって, $S_W^{-1}S_B$における非ゼロ固有値に対応する固有ベクトル$\hat{w}$を求めればよい.
行列のランク$\ge$非ゼロ固有値の数 は, 任意の正方行列Aが正則行列Pを用いて三角化できることから確認できる($\Sigma$:上三角行列).
P^{-1}AP = \Sigma
$rank(左辺) = rank(P^{-1}AP)=rank(A) =rank(\Sigma) = rank(右辺)$ .