統計学を少し本格的に学ぼうとすると出てくるのが十分統計量です。どのように役に立つのかが見えにくい課題の1つです。
十分統計量
十分統計量とは、標本が持っている母数についての情報を、失わずに要約した統計量のことです。
たとえば
$$
X_1,\ldots,X_n\sim N(\mu,\sigma^2)
$$
で、$\sigma^2$ は既知、$\mu$ が未知だとします。
このとき $\mu$ を知るためには、$X_1,\ldots,X_n$ を全部個別に覚えておく必要はありません。
$$
T=\sum_{i=1}^nX_i
$$
あるいは同じ情報を持つ
$$
\bar X=\frac1n\sum_{i=1}^nX_i
$$
だけ分かれば十分です。
つまり、
$\mu$ に関する情報は $\bar X$ に全部集約されている
と考えるのです。このとき $\bar X$ は $\mu$ の十分統計量です。
重要なのは、「データを圧縮しても、母数についての情報が減らない」という点です。
たとえば
$$
(8,10,12)
$$
と
$$
(9,9,12)
$$
はデータそのものは違いますが、どちらも
$$
\bar X=10
$$
です。正規分布で分散既知の場合、$\mu$ を考えるうえでは、この二つの標本の違いには追加の情報がありません。
したがって、十分統計量は一言でいえば、
$$
\boxed{\text{母数について必要な情報だけを残したデータの要約}}
$$
です。
Neyman–Fisherの分解定理
標本 $X_1,\dots,X_n$ の同時密度を
$$
f(x_1,\dots,x_n;\theta)
$$
とします。これが
$$
f(x_1,\dots,x_n;\theta)
=g(T(x_1,\dots,x_n),\theta),
h(x_1,\dots,x_n)
$$
と分解できれば、$T$ は $\theta$ の十分統計量です。
ポイントは、$\theta$ を含む部分が $T$ を通じてしかデータを見ていないことです。
たとえば正規分布で、分散 $\sigma^2$ は既知、平均 $\mu$ が未知とします。
$$
X_i\sim N(\mu,\sigma^2)
$$
同時密度は
$$
\prod_{i=1}^n
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left[
-\frac{(x_i-\mu)^2}{2\sigma^2}
\right].
$$
指数部分を展開すると
$$
\sum_{i=1}^n(x_i-\mu)^2
=\sum x_i^2
-2\mu\sum x_i
+n\mu^2.
$$
したがって
f(\mathbf x;\mu)
=\underbrace{
\exp\left[
\frac{\mu}{\sigma^2}\sum x_i
-\frac{n\mu^2}{2\sigma^2}
\right]
}_{\mu\text{を含む部分}}
\;
\underbrace{
(2\pi\sigma^2)^{-n/2}
\exp\left[
-\frac{1}{2\sigma^2}\sum x_i^2
\right]
}_{\mu\text{を含まない部分}}.
ここを見ると、$\mu$ を含む部分には個々の $x_i$ は出てきません。
出てくるのは
$$
\sum_{i=1}^n x_i
$$
だけです。
したがって
$$
\boxed{T=\sum_{i=1}^n X_i}
$$
が $\mu$ の十分統計量です。
直感的には、
$$
\boxed{\theta\text{を知るために必要な情報が }T\text{ に全部集約されている}}
$$
ということです。
分解定理は、「尤度の中で母数 $\theta$ がどの部分を通じてデータを見ているか」を確認している、と考えると理解しやすいです。
十分統計量は縮小推定にも役に立つのか
相場分析では縮小推定が重要な役割を果たします。特に、将来を予測するには必須です。十分統計量はこの縮小推定も有効な概念なのでしょうか？
はい、関係します。ただし「縮小推定には必ず十分統計量が必要」というわけではありません。
関係が強いのは、縮小推定を「良い推定量を作る」という観点で考えるときです。
たとえば元の推定量を $W$、十分統計量を $T$ とすると、
$$
E[W\mid T]
$$
を作ることで、Rao–Blackwell化して推定量を改善できます。
一方、縮小推定はたとえば
$$
\hat{\theta}_{\text{shrink}}
=a\hat{\theta}+(1-a)c
$$
のように、元の推定量をある値 $c$ の方向へ縮めて、分散を下げる考え方です。
したがって両者は、
$$
\boxed{\text{推定量の分散を下げて、より良い推定を作る}}
$$
という点で非常に近いです。
ただし役割は少し違います。
- 十分統計量：母数に必要な情報を失わずに集約する
- Rao–Blackwell：その十分統計量を使って推定量を改善する
- 縮小推定：多少のバイアスを許してでも分散を減らし、MSEを小さくする
です。
したがって、
$$
T_n=\alpha_n S_n+\beta_n
$$
のような縮小推定を理解するうえでも、十分統計量そのものが直接必須というより、
$$
\boxed{\text{「情報をどう集約し、どうすれば推定量を改善できるか」}}
$$
という統計理論の流れの中で、十分統計量は重要な土台になります。
特に統計検定1級では、十分統計量 → Rao–Blackwell → UMVU と バイアス・分散のトレードオフ → 縮小推定 は、別の章に見えて実はかなり近いテーマです。
最尤推定量との関係は
最尤推定量は、尤度
$$
L(\theta;x_1,\ldots,x_n)
$$
を最大にする $\theta$ を選びます。
一方、十分統計量 $T(X)$ があると、Neyman–Fisherの分解定理により
$$
L(\theta;x)
=g(T(x),\theta)h(x)
$$
と書けます。
ここで $h(x)$ は $\theta$ に依存しません。したがって、尤度を最大化するときに重要なのは
$$
g(T(x),\theta)
$$
だけです。
つまり、
$$
\boxed{\text{十分統計量が分かれば、最尤推定に必要な情報もそこに集約される}}
$$
という関係です。
たとえば
$$
X_i\sim N(\mu,\sigma^2)
$$
で $\sigma^2$ 既知なら、
$$
T=\sum X_i
$$
が $\mu$ の十分統計量です。
最尤推定量は
$$
\hat\mu_{\mathrm{MLE}}=\bar X
$$
ですが、これは
$$
\bar X=\frac{T}{n}
$$
ですから、十分統計量だけから計算できます。
したがって典型的には
$$
\boxed{
\text{十分統計量}
\rightarrow
\text{尤度に必要な情報を集約}
\rightarrow
\text{そこから最尤推定量を求める}
}
$$
という流れになります。
ただし、十分統計量そのものと最尤推定量は同じものではありません。十分統計量は「情報の集約」、最尤推定量は「その情報を使って母数を推定するルール」です。
十分統計量とBLUEの関係は
十分統計量とBLUEは、直接同じ理論ではありません。ただし「良い推定量をどう作るか」という点でつながります。
BLUEは Gauss–Markov 定理の話で、
$$
Y=X\beta+\varepsilon
$$
において、OLS推定量 $\hat\beta$ が
$$
\boxed{\text{線形不偏推定量の中で最小分散}}
$$
になるという結果です。
一方、十分統計量は
$$
\boxed{\text{母数について必要な情報を失わずに集約する}}
$$
という概念です。
たとえば正規線形回帰
$$
Y\sim N(X\beta,\sigma^2 I)
$$
では、$\beta$ に関する尤度は本質的に
$$
X'Y
$$
を通じてデータ $Y$ を見ます。したがって、$X$ を固定すると、$X'Y$ は $\beta$ に関する十分統計量と深く関係します。
OLSは
$$
\hat\beta=(X'X)^{-1}X'Y
$$
ですから、結局
$$
\boxed{\hat\beta\text{ は十分統計量 }X'Y\text{ の関数}}
$$
になっています。
ここが両者の接点です。
ただし重要なのは、
$$
\text{BLUE}
$$
は「線形・不偏」というクラスの中での最適性、
$$
\text{十分統計量}
$$
は「母数情報がどこに集約されているか」
を扱っているという違いです。
正規性まで仮定すると、十分統計量・Rao–Blackwell・UMVU と OLS の関係がさらにきれいにつながります。そこまで見ると、BLUEの位置づけがかなり明確になります。
投資に興味のある方に
Python3ではじめるシステムトレード【第2版】環境構築と売買戦略
「画像をクリックしていただくとpanrollingのホームページから書籍を購入していただけます。