11
7

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

十分統計量、フィッシャー-ネイマンの分解定理

Posted at

十分統計量

標本集合から、確率分布のパラメーター $\theta$ を統計的推定する際、推定に十分な情報を含んだ統計量を十分統計量と呼ぶ。

確率変数 $X$ に対する統計量 $T(X)$ が以下を満たす場合、その統計量は十分統計量と定義される。

P(X=x|T(X)=t,\theta) = P(X=x|T(X)=t)

フィッシャー-ネイマン分解定理

$X$ の確率関数 $f(x;\theta)$ とする。$T(X)$ が $\theta$ の十分統計量であるとき、かつその時に限り、以下を満たす関数 $h$ と $g$ が存在する。

f(x;\theta) = h(x)g(T(x);\theta) \tag{1}
  • $h$: $\theta$ に非依存
  • $g$: $\theta$ に依存。$T(x)$ を通してのみ $x$ に依存

各種確率分布における十分統計量

とりあえずベルヌーイ分布と正規分布について確認する。

ベルヌーイ分布

$X_1,\cdots,X_n$ をベルヌーイ分布 $B(1, p)$ に従う独立な確率変数とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $p$ に対する十分統計量となる。

\begin{align}
P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i} \\
&= p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i} \\
&= p^{T(x)}(1-p)^{n-T(x)}
\end{align}

$h(x)=1$, $g(T(X);p)=p^{T(x)}(1-p)^{n-T(x)}$ とすることで(1)式を満たすことが分かる。

正規分布

$X_1,\cdots,X_n$ を正規分布 $N(\mu, \sigma^2)$ に従う独立な確率変数とする。分散 $\sigma^2$ が既知とすると、和 $T(X)=\sum_{i=1}^{n}X_i$ は、パラメーター $\mu$ に対する十分統計量となる。

\begin{align}
P(X=x) &= P(X_1=x_1,\cdots,X_n=x_n) \\
&= \prod_{i=1}^{n}P(X_i=x_i) \\
&= \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}(x_i-\mu)^2}{2\sigma^2}\right)\\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2}{2\sigma^2}\right) \\
&= (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right)\exp\left(\frac{2\mu\sum_{i=1}^{n}x_i-n\mu^2}{2\sigma^2}\right)
\end{align}

最後の式における最初の2項を $h(x)$, 最後の項を $g(T(x),\mu)$ とすることで(1)式を満たすことが分かる。

$\sigma^2$ もパラメーターとする場合、和 $\sum_{i=1}^{n}X_i$ に加えて、二乗和 $\sum_{i=1}^{n}X_i^2$ も十分統計量となる。この場合、$h(x)$ は1となる。

11
7
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
11
7

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?