Abstract
- 最尤推定量は、点推定において「良い推定量」の各条件を自動的に満たしやすい、推定量の優等生
- 十分性を自動的に満たす
- 不偏性、一致性、有効性を持つ場合が多い。直接満たさなくても、ちょっとの修正を施せば、または極限を取れば漸近的に満たす場合が多い
点推定の目的
- 母数$\theta$点推定問題は以下のように定式化できる
標本空間を$\mathcal{X}$、母数空間を$\Theta$、決定空間を$\mathcal{D} = \{ \theta を採用 | \theta \in \Theta \}$とする.
損失関数を二乗誤差にとって、
$L:\Theta \times \mathcal{D} \to [0,\infty):(\theta,d) \mapsto L(\theta,d) = (\theta - d)^2$
とし、リスク関数
$E[L(\theta,\delta(X))]=E[(\theta - \delta(X))^2]$(平均二乗誤差,MSE)を最小にする決定関数$\delta:\mathcal{X}\to \mathcal{D}$を求める. 点推定における決定関数は「推定量」と呼ばれ、$\theta$の推定量はハットをつけて$\hat{\theta}=\hat{\theta}(X)$と書く. - 統計的決定理論の一般論より、一般にすべての$\theta$について一様にリスク関数を最小にする決定関数は存在しない。つまり、ここでは最小二乗誤差を最小にする推定量を直接求める一般的な手段が無い.そこで次のような伝統的手続きが取られる
- 考える推定量のクラスを制限し、制限されたクラスのなかで平均二乗誤差を最小にする推定量を求める
- MSEはバイアス-バリアンス分解できることから、バイアスをゼロにするような推定量=不偏推定量を制限クラスにして、その上で分散を最小化するという手順を取る。
- しかし、不偏推定量を構成するのが難しい場合や、分散とのトレードオフによって上手くいかないこともある.
- そこで最尤推定量を使う
最尤推定量の威力
不偏推定量$\hat{\theta}^{}$が
$Var_\theta(\hat{\theta}^{}) = \frac{1}{I_n(\theta)}, \forall \theta$
を満たせば$\hat{\theta}^{*}$はUMVUである