こんにちは。
最小二乗法は $\left(\boldsymbol{y} - A \boldsymbol{x} \right)^\textrm{T} \left(\boldsymbol{y} - A \boldsymbol{x} \right)$ を最小とする $\boldsymbol{x}_{\min}$ を計算しますが、数学的根拠をごく短く説明してみます。
まず数学的モデル式は、$\boldsymbol{x}$ が未知数1で、下記とします。
\begin{align*}
\boldsymbol{y} &= A \boldsymbol{x} + \Delta \boldsymbol{y} \\
\Delta \boldsymbol{y} &= \left(\Delta y_1,\ \Delta y_2,\ \dots,\ \Delta y_n\right)^\textrm{T} \\
\end{align*}
この誤差に当たる $\Delta \boldsymbol{y}$ も未知数ですが、妥当な仮定として通常下記を採用します。
- 確率変数扱い
- ガウス分布
- 各成分 $\Delta y_i$ は独立
- その平均 $\mu_i = 0$
- その分散 $\sigma_i$ は $i$ に無依存（$=\sigma$）
したがって、この $\Delta \boldsymbol{y}$ の $n$-多変量分布は（以下では規格化定数は省略）、
p (\Delta \boldsymbol{y}) \propto \exp \left(-\frac{1}{2 \sigma^2} \sum {\Delta y_i}^2\right)
そして代入により $\boldsymbol{x}$ の条件付き確率（またこの場合、尤度／事後確率）が得られます。
p (\boldsymbol{x}|\sigma) \propto \exp \left(-\frac{1}{2 \sigma^2} \left(\boldsymbol{y} - A \boldsymbol{x}\right)^\textrm{T} \left(\boldsymbol{y} - A \boldsymbol{x}\right)\right)
これは下記の期待値などを計算するための母関数のような役割を持ち、
\begin{align*}
\boldsymbol{x}_\textrm{expect} &\triangleq \int \boldsymbol{x}\, p (\boldsymbol{x}|\sigma) \, d\boldsymbol{x} \\
&= \mathop{\arg\min}_{\boldsymbol{x}} \left(\boldsymbol{y} - A \boldsymbol{x}\right)^\textrm{T} \left(\boldsymbol{y} - A \boldsymbol{x}\right)
\end{align*}
以上が最小二乗法の根拠です（上記計算は $\sigma$ に無依存なことに注意）。
-
正確には、事前無情報を仮定した未知変数とも言うべき。 ↩