残差最尤推定量
不偏標本分散$s^2$は、補正係数$\frac{N}{N - 1}$を最尤推定量に掛けて得られますが、補正以外では残差最尤法（制限付き最尤法）という方法によっても導くことができます。
残差最尤法で$s^2$がどのように得られるか、いくつかのステップに分けて見ていきます。
ステップ1：尤度関数を求める（最尤法と同じ）
データ$\{X_1, \ldots, X_N\}$があり、$X_1, \ldots, X_N$は独立で同一の正規分布にしたがうとするモデルを考えます。
正規分布の確率密度関数
f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\,e^{-\frac{(x - \mu)^2}{2\sigma^2}}
より、尤度関数は次のように表されます。
\begin{align}
L(\mu, \sigma^2 \mid X_1, \ldots, X_N) &= \prod_i\frac{1}{\sqrt{2\pi\sigma^2}}\,e^{-\frac{(X_i - \mu)^2}{2\sigma^2}} \\
&= (2\pi\sigma^2)^{-\frac{N}{2}}\prod_i e^{-\frac{(X_i - \mu)^2}{2\sigma^2}}
\end{align}
対数をとって扱いやすい対数尤度関数とします。
\ell(\mu, \sigma^2 \mid X_1, \ldots, X_N) = -\frac{N\log{2\pi\sigma^2}}{2} - \sum_i\frac{(X_i - \mu)^2}{2\sigma^2}
ここまでは最尤法と同じです。
ここで対数尤度が最大となるような$\mu$と$\sigma^2$を解くのが最尤法でした。
ステップ2：標本平均に関する尤度関数を求める
次に、標本平均$\overline{X}$に関する尤度関数を求めます。
モデルの仮定のもとで、$\overline{X}$は平均$\mu$、分散$\frac{\sigma^2}{N}$の正規分布にしたがいます。
f_\overline{X}(\overline{x}) = \frac{1}{\sqrt{2\pi\sigma^2/N}}\,e^{-\frac{(\overline{x} - \mu)^2}{2\sigma^2/N}}
より、尤度関数は次のように表されます。
L(\mu, \sigma^2 \mid \overline{X}) = \frac{1}{\sqrt{2\pi\sigma^2/N}}\,e^{-\frac{(\overline{X} - \mu)^2}{2\sigma^2/N}}
こちらも対数をとって対数尤度関数とします。
\ell(\mu, \sigma^2 \mid \overline{X}) = \frac{\log N}{2} - \frac{\log{2\pi\sigma^2}}{2} - \frac{N\,(\overline{X} - \mu)^2}{2\sigma^2}
ステップ3：対数尤度関数を分割する
不偏標本分散の記事で示した関係
\sum_i\,(X_i - \overline{X})^2 = \sum_i\,(X_i - \mu)^2 - N\,(\overline{X} - \mu)^2
を移項した
\sum_i\,(X_i - \mu)^2 = \sum_i\,(X_i - \overline{X})^2 + N\,(\overline{X} - \mu)^2
を用いて、ステップ1で求めた対数尤度関数を変形します。
\ell(\mu, \sigma^2 \mid X_1, \ldots, X_N) = -\frac{N\log{2\pi\sigma^2}}{2} - \sum_i\frac{(X_i - \overline{X})^2}{2\sigma^2} - \frac{N\,(\overline{X} - \mu)^2}{2\sigma^2}
さらに変形して、
\begin{multline}
\ell(\mu, \sigma^2 \mid X_1, \ldots, X_N) = \frac{\log N}{2} - \frac{\log{2\pi\sigma^2}}{2} - \frac{N\,(\overline{X} - \mu)^2}{2\sigma^2} \\
{} - \frac{\log N}{2} - \frac{(N - 1)\,\log{2\pi\sigma^2}}{2} - \sum_i\frac{(X_i - \overline{X})^2}{2\sigma^2}
\end{multline}
右辺の1行目の部分はステップ2で求めた$\overline{X}$に関する対数尤度関数なので、
\begin{multline}
\ell(\mu, \sigma^2 \mid X_1, \ldots, X_N) = \ell(\mu, \sigma^2 \mid \overline{X}) \\
{} - \frac{\log N}{2} - \frac{(N - 1)\,\log{2\pi\sigma^2}}{2} - \sum_i\frac{(X_i - \overline{X})^2}{2\sigma^2}
\end{multline}
となります。
右辺の2行目の部分を残差対数尤度関数といいます。
さあ、このように対数尤度関数を2部分に分割してどうするのでしょうか？
ステップ4：最大化問題を解く
残差最尤法では、$\overline{X}$に関する対数尤度が最大となるような$\mu$と、残差対数尤度が最大となるような$\sigma^2$をそれぞれ求めます。
最尤法とは方程式が異なるので、当然、解も違うことが予想できます。
$\overline{X}$に関する対数尤度関数の$\mu$による偏微分係数は、最大値をとる点では0なので、
\frac{\partial}{\partial\mu}\left(\frac{\log N}{2} - \frac{\log{2\pi\sigma^2}}{2} - \frac{N\,(\overline{X} - \mu)^2}{2\sigma^2}\right) = 0
これを解くと、
\frac{N\,(\overline{X} - \mu)}{\sigma^2} = 0
\mu = \overline{X}
となります。
よって、正規分布の平均$\mu$の残差最尤推定量は標本平均$\overline{X}$です。
次に、残差対数尤度関数の$\sigma^2$による偏微分係数は、最大値をとる点では0なので、
\frac{\partial}{\partial(\sigma^2)}\left(-\frac{\log N}{2} - \frac{(N - 1)\,\log{2\pi\sigma^2}}{2} - \sum_i\frac{(X_i - \overline{X})^2}{2\sigma^2}\right) = 0
これを解くと、
-\frac{N - 1}{2\sigma^2} + \sum_i\frac{(X_i - \overline{X})^2}{2\sigma^4} = 0
-(N - 1)\,\sigma^2 + \sum_i\,(X_i - \overline{X})^2 = 0
\sigma^2 = \frac{1}{N - 1} \sum_i\,(X_i - \overline{X})^2
となります。
よって、正規分布の分散$\sigma^2$の残差最尤推定量は不偏標本分散$s^2$です。
正直なところ、「何をしているか（手順）はわかるが、なぜこれで偏りがなくなるのか（理由）はわからない」という感じです。
さらなる発展
制限付き最尤法は、残差最尤法の別名または適用範囲を広げた発展形になります。
この方法が使われる場面には、線形混合効果モデルの変量効果の分散推定があります。やはり、最尤法での推定の偏りが問題になるということです。
参考文献
記事を書くのに以下のページを参考にしました。