記事の内容

数理統計学の推定論における「漸近正規性」の証明をめっちゃ丁寧にやります！！
「漸近正規性」は最尤推定量が有効であることを保証する重要な結果です。
この証明には、尤度関数、テイラー展開、中心極限定理、大数の法則、スラツキーの定理など、数理統計学の基礎がたくさん登場します。
ですので、数理統計学の入門者にとって、とてもいい練習になります。

はじめに

最尤推定量（MLE）$\hat{\theta}_n$ が持つ代表的な性質の一つに、漸近正規性があります。これは、大きなサンプルサイズ $n$ において、$\hat{\theta}_n$ が真の母数 $\theta$ の周りで正規分布に従うことを意味します。

本稿では、以下の漸近的性質を示します：

$$
\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N\left(0, \frac{1}{I_1(\theta)}\right)
$$

ここで $I_1(\theta)$ は単位標本に対するフィッシャー情報量です。

使用する仮定

以下は証明に必要な基本仮定です：
※過不足があったらすみません。

正則性条件：
- 尤度関数 $p(x;\theta)$ が $\theta$ に関して2階微分可能である。
- 積分と微分の交換が可能。
- スコア関数の期待値が0である：
  $$
  E_\theta \left[ \frac{\partial}{\partial \theta} \log p(X;\theta) \right] = 0
  $$
情報量の有限性：
- フィッシャー情報量 $I_1(\theta)$ が有限かつ正である。
一意な最大値：
- 対数尤度関数 $l_n(\theta) = \sum_{i=1}^n \log p(X_i;\theta)$ が $\theta$ の近傍で一意に最大化される。
中心極限定理（CLT）と大数の法則（LLN）の適用可能性：
- 観測 $X_1,\dots,X_n$ は独立同分布（i.i.d.）である。

証明ステップ

ステップ1：スコア関数の定義

対数尤度関数を $l_n(\theta)$ と書きます：

$$
l_n(\theta) = \sum_{i=1}^n \log p(X_i; \theta)
$$

その導関数（スコア関数）を：

$$
l_n'(\theta) = \frac{d}{d\theta} l_n(\theta) = \sum_{i=1}^n \frac{\partial}{\partial \theta} \log p(X_i; \theta)
$$

とします。

最尤推定量 $\hat{\theta}_n$ は、尤度を最大化する点なので、$l_n'(\hat{\theta}_n) = 0$ を満たします。

ステップ2：テイラー展開

$l_n'(\hat{\theta}_n) = 0$ を $\theta$ のまわりで1次のテイラー展開を行います。

$$
l_n'(\hat{\theta}_n) = l_n'(\theta) + l_n''(\theta) (\hat{\theta}_n - \theta) + R_n
$$

ここで $R_n$ は剰余項（高次の項）ですが、$\hat{\theta}_n \to \theta$ のもとで無視できるため：

$$
0 = l_n'(\theta) + l_n''(\theta)(\hat{\theta}_n - \theta) + o_p(1)
$$

よって：

$$
\sqrt{n}(\hat{\theta}_n - \theta) = -\left( \frac{1}{n} l_n''(\theta) \right)^{-1} \cdot \frac{1}{\sqrt{n}} l_n'(\theta) + o_p(1)
$$

ステップ3：スコア関数の中心極限定理の適用

最初に定義したスコア関数の全体和（$n$個の観測に対する対数尤度の微分）は次の通りです：

$$
l_n'(\theta) = \sum_{i=1}^n \frac{\partial}{\partial \theta} \log p(X_i; \theta)
$$

このとき、各項を次のように定義します：

$$
U_i(\theta) := \frac{\partial}{\partial \theta} \log p(X_i; \theta)
$$

すると、スコア関数は

$$
l_n'(\theta) = \sum_{i=1}^n U_i(\theta)
$$

と書けます。ここで、$U_1(\theta), U_2(\theta), \dots, U_n(\theta)$ は $\theta$ 固定の下で独立同分布（i.i.d.）とみなせます。

Step 3.1：各 U_i の平均と分散

仮定より：

$E[U_i(\theta)] = 0$（スコア関数の期待値は0：正則性条件）
$\operatorname{Var}(U_i(\theta)) = E[U_i(\theta)^2] = I_1(\theta)$（単位標本のフィッシャー情報量）

Step 3.2：中心極限定理（CLT）の適用

$U_1(\theta), \dots, U_n(\theta)$ が i.i.d. で有限な分散 $I_1(\theta)$ を持つため、中心極限定理より：

$$
\frac{1}{\sqrt{n}} \sum_{i=1}^n U_i(\theta) \xrightarrow{d} N(0, I_1(\theta))
$$

ここでは、中心極限定理の次の定型を使った。

\sqrt{n} \left( \bar{X}_n - \mu \right) \xrightarrow{d} N(0, \sigma^2)

すなわち、

$$
\frac{1}{\sqrt{n}} l_n'(\theta) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \frac{\partial}{\partial \theta} \log p(X_i; \theta) \xrightarrow{d} N(0, I_1(\theta))
$$

という漸近分布が得られます。

Step 3.3：補足（CLTの適用条件）

このとき、CLTの適用には以下の仮定が満たされている必要があります：

各 $U_i(\theta)$ は独立同分布（i.i.d.）
$E[U_i(\theta)] = 0$
$\operatorname{Var}(U_i(\theta)) < \infty$

これは先述した「正則性条件」により保証されており、従って CLT を正当に適用できます。

結論：

以上により、

$$
\frac{1}{\sqrt{n}} l_n'(\theta) \xrightarrow{d} N(0, I_1(\theta))
$$

が正当化され、以降のスラツキーの定理への布石となります。

ステップ4：大数の法則による収束

2階微分の平均を考える。平均の定義より、

$$
\frac{1}{n} l_n''(\theta) = \frac{1}{n} \sum_{i=1}^n \frac{\partial^2}{\partial \theta^2} \log p(X_i;\theta)
$$

大数の法則により、

$$
\frac{1}{n} l_n''(\theta) \xrightarrow{p} E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X; \theta) \right] = -I_1(\theta)
$$

（これは正則性条件のもとで成立）

フィッシャー情報量の定義を使った。
$$
I_1(\theta) = - E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X; \theta) \right]
$$

フィッシャー情報量の定義の確認

I_1(\theta) = \mathrm{Var}_\theta\left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)
= -E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]

以下では、「対数尤度の2階微分」から出発して、この等式を一歩ずつ、根拠を明示しながら証明する。

前提（正則性条件）

以下の正則性条件を仮定する：

$ p(x;\theta) $ は2回微分可能$ \theta $ に関して）
微分と積分の順序交換が可能（可積分性）
台（定義域）が $ \theta $ に依存しない、またはうまく制御可能

証明

対数尤度の2階微分の期待値を出発点とする。

$$
E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]
$$

対数尤度の2階微分は、以下のように変形できる。
$$
\frac{\partial^2}{\partial \theta^2} \log p(x;\theta)
= \frac{p''(x;\theta)}{p(x;\theta)} - \left( \frac{p'(x;\theta)}{p(x;\theta)} \right)^2
$$

両辺の期待値を取る：

E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]
= E_\theta\left[ \frac{p''(X;\theta)}{p(X;\theta)} \right]
- E_\theta\left[ \left( \frac{p'(X;\theta)}{p(X;\theta)} \right)^2 \right]

ここで期待値の定義より：

E_\theta\left[ \frac{p''(X;\theta)}{p(X;\theta)} \right]
= \int \frac{p''(x;\theta)}{p(x;\theta)} p(x;\theta) dx
= \int p''(x;\theta) dx

\int p(x;\theta) dx = 1
\quad\Rightarrow\quad
\frac{d^2}{d\theta^2} \int p(x;\theta) dx = 0

微分と積分の順序交換により：

\int \frac{\partial^2}{\partial \theta^2} p(x;\theta) dx = 0
\quad\Rightarrow\quad
E_\theta\left[ \frac{p''(X;\theta)}{p(X;\theta)} \right] = 0

上記より：

E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]
= - E_\theta\left[ \left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)^2 \right]

したがって、

- E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]
= E_\theta\left[ \left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)^2 \right]
= \mathrm{Var}_\theta\left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)

I_1(\theta) = \mathrm{Var}_\theta\left( \frac{\partial}{\partial \theta} \log p(X;\theta) \right)
= - E_\theta\left[ \frac{\partial^2}{\partial \theta^2} \log p(X;\theta) \right]

ステップ5：スラツキーの定理による結論

前ステップで：

$\frac{1}{\sqrt{n}} l_n'(\theta) \xrightarrow{d} N(0, I_1(\theta))$
$\frac{1}{n} l_n''(\theta) \xrightarrow{p} -I_1(\theta)$

が成り立つので、スラツキーの定理より：

$$
\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} \frac{1}{I_1(\theta)} \cdot N(0, I_1(\theta)) = N(0, 1/I_1(\theta))
$$

ここで、ある確率変数の「定数」倍の分散は、「定数の二乗」倍の分散になるという基本を利用している。

結論

以上により、最尤推定量 $\hat{\theta}_n$ は以下の漸近的分布に従うことが示されました：

$$
\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N\left(0, \frac{1}{I_1(\theta)}\right)
$$

これは、MLE が大標本において正規分布に近づくという強力な性質であり、信頼区間や検定の理論的根拠となります。