十分統計量とは、確率変数$X$の値から未知のパラメータ$\theta$を推定する問題において、十分な($X$それ自身と同等の)情報を持つ統計量である。たとえば、正規分布に従う母集団からの独立な$N$個のサンプル$X = \left(X_1, X_2, \dots, X_N\right)$が得られたとき、母集団の平均を推定する上では標本平均$\frac{1}{N}\sum_i X_i$の情報があれば十分であり、他の($X_1$と$X_2$の具体的な値や順番などの)情報は必要ない。このようなとき、標本平均は十分統計量であるとされる。

十分統計量は、ベイズ統計の考え方を用いて定式化することができる。つまり、「$X=x$という条件が与えられることによって$\theta$の分布がどのように変化するのか」という観点で、確率変数$X$が持つ$\theta$についての情報を捉えることができる。この考え方に基づくと、($\theta$の推定に関して)$T(X)$が$X$と同等の情報を持っているということは、$\theta$の事後分布が等しいということであり、以下のように表せる。

    P\left(\theta \mid X=x\right) = P\left(\theta \mid T(X)=T(x)\right)\tag{1}

ベイズの定理を用いて、この式を以下のように変形することができる。

\begin{align}
    P\left(\theta \mid X=x\right) &= P\left(\theta \mid T(X)=T(x)\right) \\
    \frac{P\left(X=x \mid \theta\right)P\left(\theta\right)}{P\left(X=x\right)}
        &= \frac{P\left(T(X)=T(x) \mid \theta\right)P\left(\theta\right)}{P\left(T(X)=T(x)\right)} \\
    \frac{P\left(X=x \mid \theta\right)}{P\left(T(X)=T(x) \mid \theta\right)}
        &= \frac{P\left(X=x\right)}{P\left(T(X)=T(x)\right)} \\
    P\left(X=x \mid T(X)=T(x), \theta\right) &= P\left(X=x \mid T(X)=T(x)\right)
\end{align}

従って、十分統計量は以下の式によって定義することもできる。

    P\left(X=x \mid T(X)=T(x), \theta\right) = P\left(X=x \mid T(X)=T(x)\right)\tag{2}

十分統計量の定義として一般的に用いられているのは式(2)の方だが、個人的には、「$\theta$に関する$X$の情報を$T(X)$がすべて持っている」という性質が分かりやすく見て取れるのはベイズを用いた式(1)の方ではないかと思う。

(参考文献: https://en.wikipedia.org/wiki/Sufficient_statistic)