Posted at

十分統計量、フィッシャー-ネイマンの分解定理


十分統計量

標本集合から、確率分布のパラメーター $\theta$ を統計的推定する際、推定に十分な情報を含んだ統計量を十分統計量と呼ぶ。

確率変数 $X$ に対する統計量 $T(X)$ が以下を満たす場合、その統計量は十分統計量と定義される。

P(X=x|T(X)=t,\theta) = P(X=x|T(X)=t)


フィッシャー-ネイマン分解定理

$X$ の確率関数 $f(x;\theta)$ とする。$T(X)$ が $\theta$ の十分統計量であるとき、かつその時に限り、以下を満たす関数 $h$ と $g$ が存在する。

f(x;\theta) = h(x)g(T(x);\theta) \tag{1}


  • $h$: $\theta$ に非依存

  • $g$: $\theta$ に依存。$T(x)$ を通してのみ $x$ に依存


各種確率分布における十分統計量

とりあえずベルヌーイ分布と正規分布について確認する。


ベルヌーイ分布

$X_1,\cdots,X_n$ をベルヌーイ分布 $B(1, p)$ に従う独立な確率変数とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $p$ に対する十分統計量となる。

\begin{align}

P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i} \\
&= p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i} \\
&= p^{T(x)}(1-p)^{n-T(x)}
\end{align}

$h(x)=1$, $g(T(X);p)=p^{T(x)}(1-p)^{n-T(x)}$ とすることで(1)式を満たすことが分かる。


正規分布

$X_1,\cdots,X_n$ を正規分布 $N(\mu, \sigma^2)$ に従う独立な確率変数とする。分散 $\sigma^2$ が既知とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $\mu$ に対する十分統計量となる。

\begin{align}

P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}(x_i-\mu)^2}{2\sigma^2}\right)\\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right)\exp\left(\frac{2\mu\sum_{i=1}^{n}x_i-n\mu^2}{2\sigma^2}\right)
\end{align}

最後の式における最初の2項を $h(x)$, 最後の項を $g(T(x),\mu)$ とすることで(1)式を満たすことが分かる。

$\sigma^2$ もパラメーターとする場合、和 $\sum_{i=1}^{n}X_i$ に加えて、二乗和 $\sum_{i=1}^{n}X_i^2$ も十分統計量となる。この場合、$h(x)$ は1となる。