不偏標本分散
データ$\{X_1, \ldots, X_N\}$の標本平均と不偏標本分散は、
\overline{X} = \frac{1}{N}\sum_i X_i
s^2 = \frac{1}{N - 1}\sum_i\,(X_i - \overline{X})^2
のように定義されます。
名前には混乱があり、巷の教科書・サイトでは、不偏標本分散や不偏分散のほか単に標本分散と呼ばれたりします。
データに含まれる値$X_i$は、標本抽出（サンプリング）のたびに確率的に変化するので、$\overline{X}$と$s^2$の値もデータごとに変化してばらつきます。
不偏標本分散の不偏性
「なぜNから1を引いた数で割るのか？」は、統計学入門者の定番の疑問でしょう。
不偏標本分散$s^2$は、確率変数の分散$\sigma^2$の不偏推定量となります。つまり、$s^2$の期待値は、$N$を問わずに$\sigma^2$に一致します。
\text{E}(s^2) = \sigma^2
逆に言えば、Nで割るとすると、分母は大きく全体は小さくなるので、期待値の意味で過小推定することになります。
また、$s^2$の不偏性は確率変数の分布によらず、期待値と分散をもつという条件で一般の確率変数の場合に成り立つのも重要ポイントです。
証明
〈前提〉$X_i$の期待値を$\mu$、分散を$\sigma^2$とする。
\begin{align}
\text{E}(s^2) &= \text{E}\!\left(\frac{1}{N - 1}\sum_i\,(X_i - \overline{X})^2\right) \\
&= \frac{1}{N - 1}\,\text{E}\!\left(\sum_i\,(X_i - \overline{X})^2\right)
\end{align}
ここで、
\begin{align}
\sum_i\,(X_i - \overline{X})^2 &= \sum_i\,((X_i - \mu) - (\overline{X} - \mu))^2 \\
&= \sum_i\,((X_i - \mu)^2 - 2\,(X_i - \mu)\,(\overline{X} - \mu) + (\overline{X} - \mu)^2) \\
&= \sum_i\,(X_i - \mu)^2 - 2\,(\overline{X} - \mu)\sum_i\,(X_i - \mu) + N\,(\overline{X} - \mu)^2 \\
&= \sum_i\,(X_i - \mu)^2 - 2N\,(\overline{X} - \mu)^2 + N\,(\overline{X} - \mu)^2 \\
&= \sum_i\,(X_i - \mu)^2 - N\,(\overline{X} - \mu)^2
\end{align}
となるので、
\begin{align}
\text{E}(s^2) &= \frac{1}{N - 1}\,\text{E}\!\left(\sum_i\,(X_i - \mu)^2 - N\,(\overline{X} - \mu)^2\right) \\
&= \frac{1}{N - 1}\sum_i\text{E}((X_i - \mu)^2) - \frac{N}{N - 1}\,\text{E}((\overline{X} - \mu)^2) \\
&= \frac{1}{N - 1}\sum_i\text{Var}(X_i) - \frac{N}{N - 1}\,\text{Var}(\overline{X})
\end{align}
さらに、
\begin{align}
\text{Var}(\overline{X}) &= \text{Var}\!\left(\frac{1}{N}\sum_i X_i\right) \\
&= \frac{1}{N^2}\sum_i\text{Var}(X_i) \\
&= \frac{\sigma^2}{N}
\end{align}
により、結局、
\begin{align}
\text{E}(s^2) &= \frac{1}{N - 1}\sum_i\sigma^2 - \frac{N}{N - 1}\,\frac{\sigma^2}{N} \\
&= \frac{1}{N - 1}\,(N\sigma^2 - \sigma^2) \\
&= \sigma^2
\end{align}
となり、不偏性を満たす。（証明終わり）