本記事では、統計検定などを勉強している中で出現する、あのよくわかりにくい ネイマン・フィッシャーの分解定理 を、直感的に理解する方法を記載します。
よくテキストで見かける、抽象的な数式
$$
f(x; \theta) = g(T(x), \theta) \cdot h(x)
$$
は、本質を抽出した g と、ノイズといえる h への分解と捉えることができます。
1. 十分統計量とは？
- 十分統計量 とは、元のデータ全体の情報のうち、パラメータ $\theta$ に関する 全ての情報を含む統計量 のことです。
- 十分統計量が存在すれば、その統計量だけでパラメータの推定や検定が可能となり、元の全データを見る必要がなくなります。
たとえば、コインを100回投げて51回表が出たとします。このとき、表が出る最尤値は 0.51 となります。
この場合、何回目に表が出たか を一切気にせず、表が出た回数のみを考えればよいという点に注目してください。
これが十分統計量の基本的な考え方です。個々の結果の順序は無視でき、総和さえ把握すれば十分なのです。
2. ネイマン・フィッシャー分解定理
上記の直感的理解を、形式的な表現で示すと以下のようになります。
ネイマン・フィッシャー分解定理は、確率密度関数（または確率質量関数） $f(x; \theta)$ が次の形に分解できる場合に、ある統計量 $T(x)$ が十分統計量であることを示しています。
$$
f(x; \theta) = g(T(x), \theta) \cdot h(x)
$$
ここで、
-
$g(T(x), \theta)$
パラメータ $\theta$ と統計量 $T(x)$ にのみ依存する部分です。
つまり、パラメータに関する情報はこの部分に集約されます。 -
$h(x)$
$\theta$ に依存せず、データ $x$ のみに依存する関数です。
この部分は、パラメータの推定には直接関係しない「雑音」と考えられます。
この分解が可能であれば、$T(x)$ だけで $\theta$ に関する情報を十分に捉えられるということになります。
たとえば、コインの例で言えば、$(x_1, x_2, \dots, x_{10}) = (1,0,1,0,0,0,0,1,1,0)$ という結果から、
コインの表が出る確率（最尤値） 0.4 を求めるのに、$T(x) = x_1 + x_2 + \cdots + x_{10}$ のみを計算すればよく、個々の $x_i$ を考慮する必要はないということです。
3. まとめ
以下の数式自体に慣れることも、統計学習の上で非常に重要です。
$$
f(x; \theta) = g(T(x), \theta) \cdot h(x)
$$
また、サンプル問題として、以下の問題を確認してみてください。
-
問題例
$X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} f(x \mid \Theta)$
ただし $0 \le x \le 1$, $0 < \Theta$）
で、
$$
f(x \mid \Theta) = \Theta x^{\Theta-1}
$$
のとき、十分統計量を求めよ。
解答は、参考リンクの前半部に記載されていますので、ぜひ確認してみてください。
https://qiita.com/toukei/items/b285580184b1056e3c0e