はじめに
統計学を学んでいると序盤の方に出てくる点推定量周りの用語をまとめた。
目的
この記事では以下の言葉を自分の言葉で説明できることを目的としている。
・一様最小分散推定量
・有効推定量
・一致性
・漸近有効性
不偏推定量
まず、不偏推定量が何かを説明する。（理解している人は飛ばして問題ない）
不偏推定量とは推定量の期待値が母数と一致する（この性質を不偏性という）推定量のことである。つまり、$\hat{\theta}$が不偏推定量であるとは次式が成り立つことということである。
\mathrm{E}[\hat{\theta}]=\theta
例えば、母集団からn個をランダムサンプリングして、その標本平均$\bar{x}$で母集団の平均（母平均）$\mu$を推定する場合を考える。
\bar{x} = \frac{1}{n} \sum_{i=1}^{n}x_i
推定量$\bar{x}$の期待値を求める。
\begin{align}
\mathrm{E}[\bar{x}] &= \mathrm{E}[\,\frac{1}{n} \sum_{i=1}^{n}x_i\,]\\
&= \frac{1}{n}\sum_{i=1}^{n}\mathrm{E}[\,x_i\,]\\
&=\frac{1}{n}\sum_{i=1}^{n}\mu \\
&=\mu
\end{align}
よって、標本平均の期待値は母平均と一致するので、$\bar{x}$は不偏推定量である。
一方で標本分散$v$は期待値が母分散$\sigma$に一致しない。$\mathrm{E}[v]$を計算すると
\mathrm{E}[v] = \frac{n-1}{n}\sigma
となる。点推定では不偏性を持った推定量として下の不偏分散を標準分散の代わりに利用することが多い。
\hat{\sigma} = \frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2
また、不偏分散と標準分散を区別するために、不偏分散を$\hat{\sigma}$で標本分散を$s^2$で表す。
推定量の期待値と分散の気持ち
推定量の期待値や分散と急に言われてもその意味が捉えにくいかもしれない。
同じ母集団に対してn回サンプリングを行いそれぞれの標本データを用いて推定を行うとn個の推定量を得られる。このn個の推定量の期待値や分散のことを推定量の期待値や分散という。
したがって、推定量の分散は小さい方が好ましい。標本によって得られる推定量がバラバラでは、うまく母数を推定できているとは言えないからだ。
一様最小分散不偏推定量
推定の方法はさまざまであり、不偏推定量も複数考えることができる。つまり、ある母数の不偏推定量と言われても解が複数考えられるのだ。一様最小分散不偏推定量はそんな不偏推定量の中で分散が最小になるものを指す。
有効推定量
では、分散が最小化どうかの確認はどのようにすればいいのか。その疑問に答えるのがクラーメル・ラオの不等式だ。
\mathrm{V_\theta}[\hat{\theta}] \ge J_n(\theta)^{-1}
これは$\theta$の不偏推定量$\hat{\theta}$をどのように選んでも$J_n(\theta)$の逆数より小さくはならないということを意味している。$J_n(\theta)$はフィッシャー情報量と呼ばる。(クラーメル・ラオの不等式とフィッシャー情報量の詳細については割愛する。)
また、クラーメル・ラオの不等式の等式を満たす不偏推定量を有効推定量という。つまり、有効推定量であれば一様最小分散不偏推定量である。ただし、等式を満たす不偏推定量が存在しないような確率分布では有効推定量は存在しないので、一様最小分散不偏推定量なら有効推定量であるとは言えない。
一致性
直感的に標本のサイズが大きくなればなるほど、推定量が母数に近づく気がする。例えば、5人の日本人男性の平均身長よりも1000人の平均身長を日本人男性全体の平均身長と考える（つまり、推定する）方が適切であろう。この直感が成り立つことを一致性を持つという。これは推定値$\hat{\theta}$が真のパラメータ値$\theta$に確率収束すると言える。したがって、任意の$\varepsilon$を用いて次式で表せる。
\lim_{n \to \infty} P(|\hat{\theta}-\theta|\lt\varepsilon) = 1
漸近有効性
フィッシャー情報量は標本が独立同一である場合$J_n(\theta)=nJ_1(\theta)$となる。この時、クラーメル・ラオの不等式は次式のように書き換えられる。
V_\theta[\hat{\theta}] \ge \{n J_1(\theta)\}^{-1}
一致推定量の分散が漸近的にクラーメル・ラオの不等式の下限に近づくとき、つまり、
\lim_{n\to\infty}V_\theta[\hat{\theta}] = J_n(\theta)^{-1} =\frac{1}{nJ_1(\theta)}
を満たすような一致推定量$\hat{\theta}$を漸近有効性を持つという。
まとめ
今回は推定量に関する用語の意味の説明を通して、優れた推定量とは何かについてまとめた。押さえておきたいポイントを以下に示す。
- 不偏性・不偏推定量
推定量が不偏性を持つとは、推定量の期待値が母数と一致するということ。この時、この推定量は不偏推定量であるという。 - 優れた推定量
優れた推定量はその分散が小さいもの。 - 一様最小分散不偏推定量
分散を最小化する不偏推定量 - 有効推定量
クラーメル・ラオの不等式の等式を満たす不偏推定量。有効推定量ならば一様最小分散不偏推定量である。 - 一致性
標本サイズを大きくしていった時に、母数に収束する性質 - 漸近有効性
標本サイズを大きくしていった時に推定量の分散がクラーメル・ラオの不等式の下限に漸近的に近づくこと。
最後に
用語が多く出てきて、はじめは混乱するかもしれない。敢えて難しい部分は省略したので概要を押さえる気持ちで読んでもらえるとありがたい。（そのため、クラーメル・ラオの不等式などでは厳密性にかける箇所があるので、追加で調べてもらえると良いと思う。）
参考文献
統計学実践ワークブック（準一級） 日本統計学会 編