十分統計量
標本集合から、確率分布のパラメーター $\theta$ を統計的推定する際、推定に十分な情報を含んだ統計量を十分統計量と呼ぶ。
確率変数 $X$ に対する統計量 $T(X)$ が以下を満たす場合、その統計量は十分統計量と定義される。
P(X=x|T(X)=t,\theta) = P(X=x|T(X)=t)
フィッシャー-ネイマン分解定理
$X$ の確率関数 $f(x;\theta)$ とする。$T(X)$ が $\theta$ の十分統計量であるとき、かつその時に限り、以下を満たす関数 $h$ と $g$ が存在する。
f(x;\theta) = h(x)g(T(x);\theta) \tag{1}
- $h$: $\theta$ に非依存
- $g$: $\theta$ に依存。$T(x)$ を通してのみ $x$ に依存
各種確率分布における十分統計量
とりあえずベルヌーイ分布と正規分布について確認する。
ベルヌーイ分布
$X_1,\cdots,X_n$ をベルヌーイ分布 $B(1, p)$ に従う独立な確率変数とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $p$ に対する十分統計量となる。
\begin{align}
P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i} \\
&= p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i} \\
&= p^{T(x)}(1-p)^{n-T(x)}
\end{align}
$h(x)=1$, $g(T(X);p)=p^{T(x)}(1-p)^{n-T(x)}$ とすることで(1)式を満たすことが分かる。
正規分布
$X_1,\cdots,X_n$ を正規分布 $N(\mu, \sigma^2)$ に従う独立な確率変数とする。分散 $\sigma^2$ が既知とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $\mu$ に対する十分統計量となる。
\begin{align}
P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}(x_i-\mu)^2}{2\sigma^2}\right)\\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right)\exp\left(\frac{2\mu\sum_{i=1}^{n}x_i-n\mu^2}{2\sigma^2}\right)
\end{align}
最後の式における最初の2項を $h(x)$, 最後の項を $g(T(x),\mu)$ とすることで(1)式を満たすことが分かる。
$\sigma^2$ もパラメーターとする場合、和 $\sum_{i=1}^{n}X_i$ に加えて、二乗和 $\sum_{i=1}^{n}X_i^2$ も十分統計量となる。この場合、$h(x)$ は1となる。