【準1級】統計学実践ワークブック 第8章 例4 十分統計量

統計検定準1級の勉強のための解説記事となります。下記にご了承いただける方のみ、お読みください。

注意

• 著作権の都合により問題文は掲載せず解説のみの記述となります。
• 独自の解釈により、不適切な表現がある可能性があります。

以下の動画でも解説していますので、見やすいほうでご覧ください。

学習のポイント

十分統計量

パラメータ $\theta$ をもつ分布から得られた標本 $X_1, ..., X_n$ をまとめて $X$ と書くとき、以下の式を満たす統計量 $T = T(X)$ を $\theta$ の十分統計量とよぶ。
$$P(X=x|T(X) = t; \theta) = P(X = x|T(X) = t)$$
ただし、$T(X)$ はベクトルであってもよい。

フィッシャー・ネイマンの分解定理

統計量$T(X)$ が 母数$\theta$ の十分統計量であるための必要十分条件は、観測データ$X$ の同時確率密度関数 $f(x;\theta)$ が、$f(x;\theta) = g(T(x);\theta)h(x)$と表されることである。

解答

同時確率密度関数の形①

正規分布 $N(μ, σ²)$ に独立同一に従う標本 $X₁, ..., Xₙ$ が得られています。

$Xᵢ$ が正規分布 $N(μ, σ²)$ に従うとき、その確率密度関数 $f(xᵢ; μ, σ²)$ は以下の式で与えられます。
$$
f(x_i; \mu, \sigma^2) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)
$$

$X₁, ..., Xₙ$ は独立同一に従うので、同時確率密度関数 $f(x₁, ..., xₙ; μ, σ²)$ は、それぞれの確率密度関数の積となります。
$$f(x₁, ..., xₙ; μ, σ²) = \prod_{i=1}^{n} f(xᵢ; μ, σ²) $$
$$= \prod_{i=1}^{n} \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$$

$$ = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \prod_{i=1}^{n} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$$
$$=\left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i - \mu)^2}{2\sigma^2}\right)
$$

$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i^2 - 2\mu x_i + \mu^2)}{2\sigma^2}\right) $$

$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2 - 2\mu \sum_{i=1}^{n} x_i + \sum_{i=1}^{n} \mu^2}{2\sigma^2}\right) $$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2 - 2\mu (n\bar{x}) + n\mu^2}{2\sigma^2}\right) $$

$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2}{2\sigma^2} + \frac{2n\bar{x}\mu}{2\sigma^2} - \frac{n\mu^2}{2\sigma^2}\right) $$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)
$$
となります。

標本平均

$\theta = \mu$ (分散 $\sigma^2$ は既知)とします。同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
です。

このとき、上記の同時確率密度関数を $g(\bar{x}; \mu)$ と $h(x_1, ..., x_n)$ の積の形に分解します。

ここで、

• $h(x_1, ..., x_n) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right)$
• $g(\bar{x}; μ) := \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$

と定義すれば、

$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}; μ) * h(x_1, ..., x_n)$
と表せます。

よって、統計量$T(x) = \bar{x}$は、$μ$の十分統計量です。

標本平均と各データの二乗和の組

平均 $\mu$ と分散 $\sigma^2$ が未知とします。

同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
です。

ここで、

• $$g(\bar{x}, \sum_{i=1}^{n} x_i^2; \mu, \sigma^2) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
• $$h(x_1, ..., x_n) := 1$$

と定義すれば、

$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, \sum_{i=1}^{n} x_i^2; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, \sum_{i=1}^{n} x_i^2)$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。

同時確率密度関数の形②

同時確率密度関数

$$f(x₁, ..., xₙ; μ, σ²) =\left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i - \mu)^2}{2\sigma^2}\right) $$

を別の形で表現します。上記の同時確率密度関数の指数部分にある $∑_{i=1}^{n} (xᵢ - μ)²$ を次のように変形します。

$$
∑_{i=1}^{n} (xᵢ - μ)² = ∑_{i=1}^{n} (xᵢ - \bar{x} + \bar{x} - μ)²$$

$$ = ∑_{i=1}^{n} ((xᵢ - \bar{x})² + 2(xᵢ - \bar{x})(\bar{x} - μ) + (\bar{x} - μ)²)$$
$$ = ∑_{i=1}^{n} (xᵢ - \bar{x})² + 2(\bar{x} - μ)∑_{i=1}^{n}(xᵢ - \bar{x}) + ∑_{i=1}^{n} (\bar{x} - μ)²　
$$

ここで、$∑_{i=1}^{n}(xᵢ - \bar{x}) = 0$ であるため、第2項は消えます。また、 $∑_{i=1}^{n} (\bar{x} - μ)²$は、$i$ に依存しないため、$∑_{i=1}^{n} (\bar{x} - μ)² = n(\bar{x} - μ)²$
です。よって、

$$
∑_{i=1}^{n} (xᵢ - μ)² = ∑_{i=1}^{n} (xᵢ - \bar{x})² + n(\bar{x} - μ)²
$$

となります。よって、同時確率密度関数は、
$$
f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}(x_i - \bar{x})^2 + n(\bar{x} - \mu)^2}{2\sigma^2}\right)$$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)
$$

と変形できます。

標本平均と偏差二乗和の組

同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
です。$\theta = (\mu, \sigma^2)$とします。

ここで、

• $$g(\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2}; μ, σ²) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
• $$h(x_1, ..., x_n) := 1$$

と定義すれば、

$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2}; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2})$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。

標本平均と標本分散の組

同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
です。$\theta = (\mu, \sigma^2)$とします。

標本分散を、$s^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$とし、

• $$g(\bar{x}, s^2; μ, σ²) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{ns^2}{2\sigma^2}\right)$$
• $$h(x_1, ..., x_n) := 1$$
  と定義すれば、

$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, s^2; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, s^2)$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。

標本分散と標本平均の組

$(S^2, \bar{X})$ と $(\bar{X}, S^2)$ は、統計量の組として同じ情報を保持しているため、 標本分散 $S^2$と標本平均 $\bar{X}$ の組は $\theta =(\mu, \sigma^2)$ の十分統計量です。

標本平均と標本分散、データの具体的な値の組

• $(\bar{X}, S^2)$ が十分統計量であることは確認しました。
• ($\bar{X}$, $S^2$, $X_1$) は、($\bar{X}$, $S^2$) に $X_1$ という 追加の情報 を加えたものです。

したがって、($\bar{X}$, $S^2$, $X_1$) は、$(\bar{X}$, $S^2$) と同じく、パラメータ ($\mu, \sigma^2$) に関する全ての情報を含んでおり、十分統計量となります。

母平均と母分散の最尤推定量の組

正規分布のパラメータ $\mu$ と $\sigma^2$ の最尤推定量は、それぞれ

• $\hat{\mu} = \bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_i$ (標本平均)
• $\hat{\sigma^2} = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2$ (標本分散)

です。

標本平均 $\bar{X}$ と 標本分散 $S^2$ は $\theta =(\mu, \sigma^2)$ の十分統計量のため、母平均と母分散の最尤推定量の組は、母平均と母分散の十分統計量です。