記事の目的

数理統計学の「統計的推定の基礎」をざっと把握するための記事です。
この記事では、各概念がなぜ必要なのか、という補足をとくに重視しています。
ですので、数理統計学入門者にとって、役立つ記事になるはずです。
気になる方は、まずは目次からご覧ください。

はじめに

現実世界では、私たちが知りたい母集団の特性（平均や分散など）をすべて観測することは不可能です。そのため、得られたデータ（標本）から母集団の性質を推測する必要があります。この作業が統計的推定（Statistical Estimation）です。

統計的推定は、「限られた情報から最も信頼できる結論を導く」ための理論的な枠組みを提供します。本記事では、統計的推定の考え方から推定量の評価基準まで、重要な概念を入門者向けに解説します。

1. 統計的推定の考え方

1.1 データの縮約と十分統計量

大量のデータから母数（例えば母平均や母分散）を推定するとき、すべてのデータを使わずに、ある関数（例えば平均値や合計）だけを使って同じ推定結果を得られる場合があります。このような関数は十分統計量（Sufficient Statistic）と呼ばれます。

なぜ十分統計量が必要か？
データの情報を損なうことなく、推定に必要な情報を「要約」できるためです。計算効率を高め、データの本質的な特徴を抽出することができます。

例えば、正規分布 $N(\mu, \sigma^2)$ に従う独立なデータ $X_1, \dots, X_n$ に対して、標本平均 $\bar{X}$ と標本分散 $S^2$ は $\mu$ と $\sigma^2$ の十分統計量です。

1.2 指数型分布族

指数型分布族（Exponential Family）は、統計的推定で特に扱いやすい確率分布のクラスです。この族に属する分布は、以下の形で表されます：

$$
p(x|\theta) = h(x) \exp\left( \eta(\theta) \cdot T(x) - A(\theta) \right)
$$

ここで：

$\theta$：母数（parameter）
$T(x)$：統計量（しばしば十分統計量）
$\eta(\theta)$：自然パラメータ（自然変換された母数）
$A(\theta)$：正規化定数

**なぜ指数型分布族が重要か？
多くの標準的な分布（正規分布、ポアソン分布、二項分布など）がこの族に含まれ、解析や推定が容易になる性質を持つからです。特に最尤推定やベイズ推定と相性が良く、理論的な扱いが簡潔になります。

2. 点推定の導出方法

2.1 モーメント法（Method of Moments）

モーメント法では、母集団の理論的モーメント（$E[X], E[X^2], \dots$）と、標本から得られる標本モーメントを一致させて母数を推定します。

例えば、1次モーメント（平均）と2次モーメント（分散）を使って、母平均や母分散を推定できます。

利点：計算が簡単
欠点：最適性が保証されない場合もある

2.2 最尤法（Maximum Likelihood Estimation: MLE）

最尤法では、観測されたデータがもっとも「起こりやすくなる」ような母数を推定します。具体的には、尤度関数：

$$
L(\theta) = \prod_{i=1}^n p(x_i|\theta)
$$

を最大にする $\theta$ を求めます。解析の簡便さから、通常は対数尤度 $\log L(\theta)$ を最大化します。

利点：漸近的に良い性質（のちほど述べる）
欠点：解析的に解けない場合がある

2.3 ベイズ法（Bayesian Estimation）

ベイズ法では、母数を確率変数として扱い、事前分布 $p(\theta)$ を与え、観測データによって得られる事後分布：

$$
p(\theta|x) = \frac{p(x|\theta) p(\theta)}{p(x)}
$$

から推定を行います。推定値はしばしば事後期待値：

$$
\hat{\theta}_{\text{Bayes}} = E[\theta | x]
$$

として定義されます。

利点：不確実性を自然に表現できる
欠点：事前分布の選択が主観的になる可能性

3. 推定量の評価

3.1 不偏性（Unbiasedness）

推定量 $\hat{\theta}$ が不偏であるとは、母数 $\theta$ に対して

$$
E[\hat{\theta}] = \theta
$$

が成り立つことを言います。

なぜ重要か？
推定量が「系統的に間違った方向にずれていない」ことを意味し、長期的には正しい値に近づくと期待できるからです。
不偏性とは、推定量の平均が真の母数と一致する性質です。この概念が重要なのは、「たくさんのデータを集めて何度も推定を行ったとき、平均的に正しい値に近づく推定量」を選びたいからです。たとえば、平均身長を推定する際、毎回少しずつ高めに出る推定量よりも、誤差はあっても全体として偏りのない推定量のほうが信頼できます。不偏性は、推定量が「公正」で「信頼できる」指標であるための基本的な条件です。

3.2 フィッシャー情報量とクラメール＝ラオの不等式

フィッシャー情報量

フィッシャー情報量 $I(\theta)$ は、推定における情報の「量」を定量化したもので、

$$
I(\theta) = E\left[ \left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)^2 \right]
$$

で定義されます。

クラメール＝ラオの不等式

任意の不偏推定量 $\hat{\theta}$ に対して、次が成り立ちます：

$$
\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)}
$$

この下限を達成する推定量は効率的と呼ばれます。

意味：どんなに優れた推定量でも、この分散以下にはならないという理論的限界

なぜ重要か？
フィッシャー情報量は、ある確率分布がどれだけ「多くの情報」を持っているか、つまり、その分布を使って母数をどれだけ正確に推定できるかを測る指標です。直感的には、データが「どれだけ鋭く母数を特徴づけているか」を表しています。
たとえば、ある分布でデータが母数の変化に敏感に反応する場合、少ないデータでも正確な推定が可能になります。このような分布はフィッシャー情報量が大きくなります。一方、データのばらつきが大きく、母数が変わっても観測値があまり変わらないような場合には、情報量が小さくなり、推定の不確かさも大きくなります。
また、クラメール＝ラオの不等式により、推定量の分散の理論的な下限はフィッシャー情報量で決まるため、「どれだけ良い推定が可能か」という限界を知るうえでも必要不可欠です。したがって、推定の精度や限界を定量的に把握するために、フィッシャー情報量は非常に重要な役割を果たします。

3.3 最尤推定量の一致性・漸近正規性・漸近有効性

一致性（Consistency）

推定量 $\hat{\theta}_n$ が一致性を持つとは、サンプルサイズ $n \to \infty$ のときに

$$
\hat{\theta}_n \to \theta \quad \text{（確率収束）}
$$

が成り立つことを言います。

なぜ重要か？
一致性とは、標本サイズを大きくしていくと推定量が真の母数に近づく性質です。この概念が必要なのは、限られたデータから始めても、データを十分に集めれば正しい推定にたどり着けるという理論的な保証を与えてくれるからです。たとえば、平均値を推定する場合、小さな標本ではばらつきがあっても、標本数を増やすことで推定値が真の平均に収束することが期待されます。一致性は、推定方法が「長期的に正しくなる」ことを保証する重要な性質です。

漸近正規性（Asymptotic Normality）

多くの最尤推定量は、大きな $n$ のとき

$$
\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, I(\theta)^{-1})
$$

に従い、正規分布に近づきます。

なぜ重要か？
漸近正規性とは、サンプルサイズが大きくなると、推定量の分布が正規分布に近づく性質です。この性質が重要なのは、大規模なデータが得られる場合に、推定量の誤差を正規分布として扱えるためです。これにより、信頼区間や検定などの統計的推論を簡単かつ精度高く行えるようになります。特に正規分布は計算しやすく、理論的にも多くの便利な性質を持つため、漸近正規性をもつ推定量は実用上非常に扱いやすいのです。

詳細はこちらの記事でまとめています。
漸近正規性の証明はめっちゃいい練習になる!!【数理統計学・統計的推定の基礎】

漸近有効性（Asymptotic Efficiency）

最尤推定量は、漸近的にクラメール＝ラオの下限に一致するため、漸近的に最も良い推定量であるとされます。

なぜ重要か？
漸近有効性とは、サンプルサイズが大きくなるにつれて、推定量の分散が理論的な下限（クラメール＝ラオの下限）に近づく性質です。この概念が必要な理由は、現実には完全に正確な推定量は存在しないため、大量のデータを使えば「どこまでよい推定が可能か」を評価する基準が必要になるからです。漸近有効な推定量は、大標本において最も精度の高い推定を保証するため、長期的・実用的に最適な推定法を選ぶ指針となります。

まとめ

最尤推定量（MLE）は、一般的な条件のもとで一致性・漸近正規性・漸近有効性という3つの重要な性質を持ちます。まず一致性とは、サンプル数が増えると推定値が真の値に収束する性質で、最尤推定量は通常この性質を満たします。次に漸近正規性とは、大標本で最尤推定量の分布が正規分布に近づくことを意味し、信頼区間や検定に使いやすくなります。そして漸近有効性は、その正規分布の分散がクラメール＝ラオの下限に一致すること、つまり「最も精度の良い推定量」となることを意味します。これらの性質は最尤法の強力さを理論的に支える柱です。

おわりに

統計的推定は、限られたデータから母集団の本質を推定するための、数理統計学の中心的な概念です。本稿では、推定の考え方から具体的な導出法、推定量の評価基準までを紹介しました。

より深く学ぶためには、具体的な分布を使った演習問題や、推定の性質の証明に挑戦することが重要です。特に最尤法とクラメール＝ラオの不等式は、応用においても非常に強力な武器となります。

関連記事