はじめに
今学期の授業で学んだ最小分散不偏推定量（Minimum Variance Unbiased Estimator, MVUE）について復習がてら紹介してみようと思います。
MVUEは点推定の一種でその名の通り統計推定の中でも特に望ましいとされている最小分散性（Minimum Variance）と不偏性（unbiasedness）を持った推定量（Estimator）になります。
*不偏性とは、とある推定量の期待値が母数と等しくなる性質です$（E(Y) = θ, where Y = u(X_{1},X_{2},...,X_{n}）$。
*最小分散性とは、とある推定量の分散がどの不偏推定量の分散よりも小さいか同等になっている性質です
なぜこのような推定量を求めようとするのかというと日々我々が使っている平均や最尤推定量（こちらの記事参照）なども最適な点推定ではなく、不偏性や最小分散性を有していない事があるからです。
また世の中には不偏性のみを満たしている不偏推定量は無数にあります。つまり、不偏性という基準だけでは望ましい推定ができないのです。
例）正規分布に従う確率変数の最尤推定が時に不偏性を保持していない例を紹介します。
$X_{i}$ が正規分布, $N(μ, σ^2)$に従う確率変数のとき、
\hat{μ} = \frac{Σ X_{i}}{n} = \bar{X}\\
\hat{σ^2} = \frac{Σ(X_{i}-\bar{X})^2}{n}
が$μ$と$σ^2$の最尤推定になります。このとき
E(\bar{X}) = μ
となりμの最尤推定 = μで、不偏性を保持しているとわかりますが、$\hat{σ^2}$ はそうはいきません。
\begin{align}
\hat{σ^2} = \frac{1}{n} \sum_{i=1}^{n}(x_{i}-\bar{x})^2
&= \frac{1}{n} \sum_{i=1}^{n}
\bigl
(x_{i}^2-2x_{i}\bar{x}+\bar{x}^2
\bigr)\\
&= \frac{1}{n} \sum_{i=1}^{n}x_{i}^2 - \bar{x}^2\\
\end{align}
となるため、最尤推定の期待値は
\begin{align}
E(\hat{σ}^2)
&= E \bigl(
\frac{1}{n} \sum_{i=1}^{n}x_{i}^2 - \bar{x}^2
\bigr)\\
&= \frac{(n-1)σ^2}{n}\\
\end{align}
より、$ E(\hat{σ}^2) \neq σ^2 $ となるので、$ σ^2 $ の最尤推定は不偏性を保持していない事がわかります。この通り、良いと言われている最尤推定なども時として不偏性を保持しておらず、ベストな推定量とは言えない事がわかります。
MVUEの求め方
上記の通り、頻繁に利用されている身近な推定量も不十分であることがわかっているため、世の中の推定量のうち，不偏性で分散値が最小となる推定量を得ることを最良としようという考えの下、MVUEを求めることが重要とされています。
それでは実際にMVUEを求めるにはどうするのでしょうか。
MVUEを求める方法はいくつかありますが、ここでは不偏推定量がクラメール・ラオの不等式（Rao–Cramer Lower Bound, CRLB）の等式を満たす有効推定量（efficient estimator）であることを示す代表的な方法を述べたいと思います。
クラメール・ラオの不等式
とある$X_1, X_2, ..., X_n$が、確率関数$f(x; \theta)$によって発生する確率分布に従うとします。また$u(X_1,X_2,...,X_n)$を$k(\theta)$の不偏推定量とします（$Y$ は $k(θ)$ の不偏推定量です）
X_{1},X_{2},...,X_{n} \sim^{iid} f(x;\theta) \\
Y = u(X_{1},X_{2},...,X_{n}) \\
E(Y) = E[u(X_{1},X_{2},...,X_{n})] = k(\theta)
この時、クラメール・ラオの不等式（CRLB） は
Var(Y)\geqq\frac{[k'(\theta)]^2}
{nI_X(\theta)}
で定義されます。
なお$I_X$ は一般的にフィッシャー情報量（Fisher's Information）と言われており、以下で説明しています。
CRLBはいくつかの条件を満たす必要がありますが（Wikipedia参照）不偏推定量の分散の下限を示すもので、等号成立のとき不偏推定量 $Y$ の分散は他のどの推定量の分散よりも小さいと考えられるため、$Y$ は有効推定量となり、最小分散性を満たすと言われています。
つまり、不偏推定量（$Y = u(X_{1},X_{2},...,X_{n})$）がCRLBの等式成立を満たすとき、$Y$ は不偏性も最小分散性のどちらとも満たす MVUE であると言えます。これがMVUEの一つの求め方になります。
（付録）フィッシャー情報量
フィッシャー情報量とは以下の通りに定義されているもので、スコア関数（Score function, $U(X;\theta)$）の2次モーメント（=スコア関数の分散）の期待値と同等になります（モーメントについて）。最尤推定を求める際の関数と非常に似ています。
\begin{align}
I &= E
\left[
\left(
\frac{\partial}{\partial\theta}
log \it f(X; \theta)
\right)^2
\right] \\
&= E
\bigl[
U(X;\theta)^2
\bigr]
\end{align}
**以下参考記事