学習のポイント
推定量
点推定において、パラメータ $\theta$ を推定するために用いられる標本 $X_{1}, \dots, X_{n}$ の関数 $h(X_{1}, \dots, X_{n})$ のことを推定量といいます。
推定値
実際に観測された標本の値（観測値） $x_{1}, \dots, x_{n}$ を、推定量 $h(X_{1}, \dots, X_{n})$ に代入して得られる具体的な値 $h(x_{1}, \dots, x_{n})$ のことを推定値といいます。
統計量
標本 $X_{1}, \dots, X_{n}$ のみの関数であり、未知のパラメータ $\theta$ の値に依存しないものを統計量といいます。推定量 $h(X_{1}, \dots, X_{n})$ は統計量の一種です。
十分統計量
パラメータ $\theta$ をもつ分布から得られた標本 $X_1, ..., X_n$ をまとめて $X$ と書くとき、以下の式を満たす統計量 $T = T(X)$ を $\theta$ の十分統計量とよぶ。
$$P(X=x|T(X) = t; \theta) = P(X = x|T(X) = t)$$
ただし、$T(X)$ はベクトルであってもよい。
フィッシャー・ネイマンの分解定理
統計量$T(X)$ が 母数$\theta$ の十分統計量であるための必要十分条件は、観測データ$X$ の同時確率密度関数 $f(x;\theta)$ が、$f(x;\theta) = g(T(x);\theta)h(x)$と表されることである。
不偏推定量
推定量 $\hat{\theta}$ について、真のパラメータ値 $\theta$ がどのような値であったとしても、その期待値が真のパラメータ値 $\theta$ に等しくなる、すなわち
$$\mathrm{E}[\hat{\theta}] = \theta$$
が成り立つとき、この推定量 $\hat{\theta}$ を不偏推定量とよびます。
定理：最尤推定量の漸近的性質（一致性、漸近有効性、漸近正規性）
パラメータ $\theta$ を持つ確率分布 $F_{\theta}$ が、適当な正則条件を満たす場合、そのパラメータ $\theta$ の最尤推定量 $\hat{\theta}$ は、一致性と漸近有効性を持つ。
また、$\sqrt{n}(\hat{\theta} - \theta)$という確率変数は、平均 $0$、分散 $J_{1}(\theta)^{-1}$ の正規分布 $\mathcal{N}(0, J_{1}(\theta)^{-1})$ に分布収束し、これを最尤推定量 $\hat{\theta}$の漸近正規性といいます。
命題：最尤推定量の不変性
パラメータ $\theta$ の関数として定義される新しいパラメータ $\eta = g(\theta)$ の推定を考える。
パラメータ $\theta$ の最尤推定量を $\hat{\theta}$ とすれば、 $\eta$の最尤推定量は、$g(\hat{\theta}) $である。
未知の平均 $\mu$, 分散 $\sigma^2$ をもつ正規分布 $N(\mu, \sigma^2)$ から独立同一に得られた標本を $X_1, \dots, X_n$ とし、その標本平均を $\bar{X}$ と書く。
統計量
正しい：$\sum_{i=1}^n (X_i - \bar{X})^2$ は統計量であるが、$\sum_{i=1}^n (X_i - \mu)^2$ は統計量ではない。
統計量は標本もしくは既知のパラメータのみの関数で表されるべきなので、未知のパラメータ $\mu$ に依存してはいけない。
十分統計量
正しい：順序統計量を並べたベクトル $(X_{(1)}, \dots, X_{(n)})$ はパラメータ $\mu$ および $\sigma^2$ の十分統計量である。
(1) 同時確率密度関数（尤度関数）の立式
標本 $X_1, ..., X_n$ は独立なので、その同時確率密度関数は、各々の確率密度関数の積で表されます。これは、パラメータ $\theta = (\mu, \sigma^2)$ を未知とみなした場合の尤度関数 $L(\theta; x)$ に他なりません。
$$
f(x; \theta) = L(\theta; x) = \prod_{i=1}^{n} f(x_i; \theta)
$$
これが分解定理の左辺 $f(x; \theta)$ にあたります。
(2) 尤度関数の性質と順序統計量
積の演算は順序に依らないため（例：$a \times b = b \times a$）、尤度関数の値は $x_1, ..., x_n$ の並び方には影響されません。つまり、尤度関数は標本の値の集合にのみ依存します。
この「値の集合」の情報を過不足なく持つのが、標本を大きさの順に並べた順序統計量 $T(x) = (x_{(1)}, ..., x_{(n)})$ です。
したがって、尤度関数は順序統計量を用いて次のように書き換えることができます。
$$
L(\theta; x) = \prod_{i=1}^{n} f(x_{(i)}; \theta)
$$
(3) 分解定理の適用と結論
この書き換えにより、尤度関数は以下のように分解できることがわかります。
$$
f(x; \theta) = L(\theta; x) = 1 \cdot \left[ \prod_{i=1}^{n} f(x_{(i)}; \theta) \right]
$$
この式を分解定理 $f(x; \theta) = h(x) g(T(x), \theta)$ と比較してみましょう。
| 分解定理の要素 | 本証明における対応部分 | 備考 |
|---|---|---|
| $f(x; \theta)$ | $\prod f(x_i; \theta)$ | 同時確率密度関数（尤度関数） |
| $h(x)$ | $1$ | パラメータ$\theta$に依存しない部分 |
| $g(T(x), \theta)$ | $\prod f(x_{(i)}; \theta)$ | $T(x)$と$\theta$にのみ依存する部分 |
| $T(x)$ | $(x_{(1)}, ..., x_{(n)})$ | 統計量（今回は順序統計量） |
このように、$h(x)=1$、$T(x)$ を順序統計量とすることで、フィッシャー・ネイマンの分解定理の条件が満たされます。
したがって、順序統計量 $(X_{(1)}, ..., X_{(n)})$ はパラメータ $\theta$ の十分統計量であることが証明されます。
不偏推定量
誤り：標本分散 $\frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$ は $\sigma^2$ の不偏推定量である。
解法1
標本分散 $S^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$ の期待値を計算する。
よく知られているように、不偏分散 $U^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$ の期待値は $E[U^2] = \sigma^2$ である。
標本分散 $S^2$ は不偏分散 $U^2$ を用いて $S^2 = \frac{n-1}{n} U^2$ と表せる。
したがって、その期待値は、
$$
E[S^2] = E\left[\frac{n-1}{n} U^2\right] = \frac{n-1}{n} E[U^2] = \frac{n-1}{n} \sigma^2
$$
となる。
$E[S^2] = \frac{n-1}{n} \sigma^2$ であり、これは $\sigma^2$ とは異なる ($n \ge 2$ の場合)。
よって、標本分散 $\frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$ は $\sigma^2$ の不偏推定量ではない。
解法2
標本分散 $S^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$ の期待値を計算する。
まず、二乗和 $\sum_{i=1}^n (X_i - \bar{X})^2$ を以下のように変形する。
$$
\sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n {((X_i - \mu) - (\bar{X} - \mu))}^2
$$
$$
= \sum_{i=1}^n (X_i - \mu)^2 - 2 \sum_{i=1}^n (X_i - \mu)(\bar{X} - \mu) + \sum_{i=1}^n (\bar{X} - \mu)^2
$$
$$
= \sum_{i=1}^n (X_i - \mu)^2 - 2 (\bar{X} - \mu) \sum_{i=1}^n (X_i - \mu) + n (\bar{X} - \mu)^2
$$
$$
= \sum_{i=1}^n (X_i - \mu)^2 - 2 (\bar{X} - \mu) {n(\bar{X} - \mu)} + n (\bar{X} - \mu)^2
$$
$$
= \sum_{i=1}^n (X_i - \mu)^2 - 2n (\bar{X} - \mu)^2 + n (\bar{X} - \mu)^2
$$
$$
= \sum_{i=1}^n (X_i - \mu)^2 - n (\bar{X} - \mu)^2
$$
この両辺の期待値をとると、
$$
E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = E\left[\sum_{i=1}^n (X_i - \mu)^2\right] - E\left[n (\bar{X} - \mu)^2\right]
$$
ここで、$E[X_i] = \mu$, $V[X_i] = \sigma^2$ であり、$X_i$ は互いに独立です。また、分散の定義は$ V[Y] = E[(Y - E[Y])^2] $であり、$V[\bar{X}] = \sigma^2/n$ であるから、
$$
E\left[\sum_{i=1}^n (X_i - \mu)^2\right] = \sum_{i=1}^n E[(X_i - \mu)^2] = \sum_{i=1}^n V[X_i] = n\sigma^2
$$
$$
E\left[n (\bar{X} - \mu)^2\right] = n E[(\bar{X} - \mu)^2] = n V[\bar{X}] = n \frac{\sigma^2}{n} = \sigma^2
$$
となります。したがって、
$$
E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = n\sigma^2 - \sigma^2 = (n-1)\sigma^2
$$
よって、標本分散 $S^2$ の期待値は、
$$
E[S^2] = E\left[\frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2\right] = \frac{1}{n} E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = \frac{1}{n} (n-1)\sigma^2 = \frac{n-1}{n} \sigma^2
$$
となる。
$E[S^2] = \frac{n-1}{n} \sigma^2$ であり、これは $\sigma^2$ とは異なる ($n \ge 2$ の場合)。
ゆえに、標本分散 $\frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$ は $\sigma^2$ の不偏推定量ではない。
最尤推定量
正しい：標本分散の平方根 $(\frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2)^{1/2}$ は標準偏差 $\sigma$ の最尤推定量である。
母標準偏差 $\sigma$ の最尤推定量 を求める。
まず、母標準偏差 $\sigma$ は母分散 $\sigma^2$ の正の平方根である。すなわち、関数 $g(x) = \sqrt{x}$ ($x \ge 0$) を用いて、
$$ \sigma = g(\sigma^2) = \sqrt{\sigma^2} $$
と表すことができる。
ここで、最尤推定量は不変性を持つため、
\hat{\sigma}_{MLE} = g(\hat{\sigma}^2_{MLE}) = \sqrt{\hat{\sigma}^2_{MLE}}
となる。
元のパラメータである母分散 $\sigma^2$ の最尤推定量$\hat{\sigma}^2_{MLE}$ は、
$$ \hat{\sigma}^2_{MLE} = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 $$
となることが知られているため、
\hat{\sigma}_{MLE} = \sqrt{\hat{\sigma}^2_{MLE}} = \sqrt{\frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2}
が得られる。
以上より、母集団が正規分布に従う場合、母標準偏差 $\sigma$ の最尤推定量は $\sqrt{\frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2}$ である。
一致推定量、漸近有効推定量
誤り：標本分散は分散 $\sigma^2$ の一致推定量であるが、漸近有効推定量ではない。
母集団分布が正規分布 $N(\mu, \sigma^2)$ に従うと仮定されている。
正規分布は、最尤推定量の漸近理論における標準的な正則条件を満たす。
この正規分布において、母分散 $\sigma^2$ の最尤推定量は、$\hat{\sigma}^2_{MLE} = s_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ です。
一般に、適切な正則条件を満たす確率分布において、パラメータの最尤推定量は一致性（真のパラメータに確率収束する）と漸近有効性（漸近分散がクラメール・ラオの下限に達する）を持つことが知られている。
したがって、正規分布の仮定の下では、その $\sigma^2$ の最尤推定量である標本分散 $s_n^2$ は、母分散 $\sigma^2$ の一致推定量であり、かつ漸近有効推定量である。
