はじめに

現代数理統計学の基礎 (共立講座数学の魅力)
2018/5/6、amazonで購入。
第５章「標本分布とその近似」に関するメモ
第６章「統計的推定」に関するメモ

不偏分散

\begin{align}
\sum_{i=1}^n(X_i-\bar{X})^2&=\sum_{i=1}^n(X_i-\mu+\mu-\bar{X})^2\\
&=\sum_{i=1}^n\left[(X_i-\mu)^2+2(X_i-\mu)(\mu-\bar{X})+(\mu-\bar{X})^2\right]\\
&=\sum_{i=1}^n(X_i-\mu)^2+2n(\bar{X}-\mu)(\mu-\bar{X})+n(\mu-\bar{X})^2\\
&=\sum_{i=1}^n(X_i-\mu)^2-n(\mu-\bar{X})^2\\
E\left[\sum_{i=1}^n(X_i-\bar{X})^2\right]&=n\sigma^2-n\frac{\sigma^2}{n}=(n-1)\sigma^2\\
V^2(X)&=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2\quad 不偏分散\\
E[V^2(X)]&=\sigma^2
\end{align}

標本分布

$X_1,\dots,X_n,iid\sim N(\mu,\sigma^2)$とする。
$X_i=\mu+\sigma Z_i$と定義すると、$Z_1,\dots,Z_n,iid\sim N(0,1)$となる。

$Y=HZ$と定義すると、$Y_1,\dots,Y_n,iid\sim N(0,1)$となる。
$H$はHelmert Matrix。$HH^t=H^tH=I,Y^tY=Z^tH^tHZ=Z^tZ$

\begin{align}
H=\left[\begin{array}{ccccc}
1/\sqrt{n} & 1/\sqrt{n} & 1/\sqrt{n} & \cdots & 1/\sqrt{n} \\
-1/\sqrt{2} & 1/\sqrt{2} & 0 & \cdots & 0 \\
-1/\sqrt{2\cdot 3} & -1/\sqrt{2\cdot 3} & 2/\sqrt{2\cdot 3} & \cdots & 0 \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
-1/\sqrt{(n-1)n} & -1/\sqrt{(n-1)n} & -1/\sqrt{(n-1)n} & \cdots & (n-1)/\sqrt{(n-1)n}
\end{array}\right]
\end{align}

$\sqrt{n}\bar{Z}=Y_1\sim N(0,1)$
$\sum_{i=1}^n(Z_i-\bar{Z})^2=Y_2^2+\cdots+Y_n^2\sim\chi_{n-1}^2$
$\sqrt{n}\bar{Z}$と$\sum_{i=1}^n(Z_i-\bar{Z})^2$は独立となる。

従って、
$\frac{\sqrt{n}}{\sigma}(\bar{X}-\mu)\sim N(0,1)$
$\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\bar{X})^2=\frac{n-1}{\sigma^2}V^2\sim\chi_{n-1}^2$
$\bar{X}$と$V^2$は独立となる。

確率変数$Z=\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}$と定義すると、$Z\sim N(0,1)$となる。
確率変数$U=\frac{n-1}{\sigma^2}V^2$と定義すると、$U\sim \chi_{n-1}^2$となる。
確率変数$T=\frac{\sqrt{n}(\bar{X}-\mu)}{V}$と定義すると、$T=\frac{Z}{\sqrt{U/(n-1)}}$となる。
$T$は自由度$n-1$のt分布に従う。
$Var(U)=2(n-1)$なので、$Var(V^2)=\frac{2\sigma^4}{n-1}$となる。

F分布の定義 $F_{m,n}=\frac{\chi^2_m/m}{\chi^2_n/n}$

確率変数の収束

\begin{align}
\Pr(|X|\ge a)&\le\frac{E[|X|]}{a}\quad\text{マルコフ(Markov)の不等式}\\
\Pr(|X-E[X]|\ge k)&\le \frac{V(X)}{k^2}\quad\text{チェビシェフの不等式}
\end{align}

大数の弱法則
サンプルサイズを増やしていくと、サンプルの平均が真の平均に確率収束すること。

\begin{align}
X_1,\dots,X_n,iid&\sim\mu\\
\bar{X}_n=\frac{1}{n}\sum_{i=1}^nX_i&\to_p\mu
\end{align}

大数の強法則
サンプルサイズを増やしていくと、サンプルの平均が真の平均に概収束すること。(ほとんど至る所で収束)

中心極限定理
サンプルサイズを増やしていくと、真の平均からの誤差が正規分布に分布収束すること。

\begin{align}
X_1,\dots,X_n,iid&\sim(\mu,\sigma^2)\\
\Pr\left(\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\le x\right)&\to_d \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x\exp\left(-\frac{t^2}{2}\right)dt
\end{align}

順序統計量の分布

累積分布関数$F_{X_{(k)}}(x)=\Pr(X_{(k)}\le x)$の導出
「$n$個中少なくとも$k$個の$X_i$が$x$以下」→「$x$以下の値が$n$回の試行中$k$回以上発生する」

\begin{align}
F_{X_{(k)}}(x)&=\sum_{j=k}^n\binom{n}{j}F(x)^j(1-F(x))^{n-j}\\
f_{X_{(k)}}(x)&=\frac{d}{dx}F_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}f(x)F(x)^{k-1}(1-F(x))^{n-k}
\end{align}

十分統計量

$T(x)=t$を満たす$x$と$t$について、$\Pr(X=x|T(X)=t)$が母集団の未知パラメータ$\theta$に依存しないとき、$T(X)$を十分統計量と呼ぶ。
$\Pr(X=x|T(X)=t,\theta)=\Pr(X=x|T(X)=t)$

$X_1,\dots,X_n,iid\sim Ber(\theta)$とすると、$\Pr(X=x|\theta)=\theta^{\sum x_i}(1-\theta)^{n-\sum x_i}$となる。
$T(X)=\sum X_i$とすると、$\Pr(T(X)=t|\theta)=\binom{n}{t}\theta^t(1-\theta)^{n-t}$となる。
$\Pr(X=x|T(X)=t,\theta)=\frac{\Pr(X=x,T(X)=t|\theta)}{\Pr(T(X)=t|\theta)}=1/\binom{n}{t}$となり、$\theta$に依存しない。

統計量の導出と性質

1.モーメント法
$\cfrac{1}{n}E[X^r]$を連立させてパラメータを求める。

2.最尤法
対数尤度関数を最大化するパラメータを求める。
$\hat{\theta}(X_n)=\sup_\theta\log\prod f(x_i|\theta)$

3.フィッシャー情報量
$I(\theta)=E\left[\left(\cfrac{d}{d\theta}\log f(x|\theta)\right)^2\right]
=-E\left[\cfrac{d^2}{d\theta^2}\log f(x|\theta)\right]$

4.クラメール・ラオの不等式
不偏推定量の分散はフィッシャー情報量の逆数より小さくはならない。
$V(\hat{\theta}(X_n))\ge\cfrac{1}{nI(\theta)}$

5.サンプル数を無限大にすることに関する概念
(1) 不偏推定量
推定量の平均値が真値と一致する。
$E[\hat{\theta}(X_n)]=\theta$
(2) 最良線形不偏推定量
データの線形結合による不偏推定量で、分散が最小であるもの。

6.サンプルサイズを無限大にすることに関する概念
(1) 一致性
推定量が真値に確率収束する。
$\forall \epsilon>0\rightarrow\Pr(|\hat{\theta}(X_n)-\theta|\ge\epsilon)=0(n\to\infty)$
(2) 漸近有効性
推定量の分散が下限値と一致する。
$\sqrt{n}(\hat{\theta}(X_n)-\theta)\to_dN(0,I(\theta)^{-1})(n\to\infty)$
(3) 漸近正規性
最尤推定量が漸近有効性を持つ。
$\sqrt{nI(\theta)}(\hat{\theta}(X_n)-\theta)\to_dN(0,1)(n\to\infty)$