はじめに

統計学を勉強すると、重要な性質の証明にさまざまな定理が出てきます。
いちいち調べなおすのも大変なので、備忘録としてここに貯めておきます。
今後も内容を追加していけると良いと思っています。

大数の弱法則

大数の弱法則

任意の$i$について確率変数$\theta_i$が独立同分布かつ$\mathbb{E}[|\theta_i|]$が有限であると仮定する。
標本平均を

    \overline{\theta}_{(n)} = \frac{1}{n}\sum_{i = 1}^n \theta_i

と表すとき、これは$\mathbb{E}[\theta_i]$に確率収束する。

    \forall \varepsilon > 0,\ \exists N \in \mathbb{N}:\ \forall n \in \mathbb{N},\ 
    n > N \implies \Pr(|\overline{\theta}_{(n)} - \mathbb{E}[\theta_i]\
    | > \varepsilon) = 0.

説明

ある確率変数を$X$とし、その期待値$\mu$と分散$\sigma^2$が有限値で与えられるとき、

  \forall k > 0,\ \Pr(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2},

が成り立つことが知られています（チェビシェフの不等式）。
また、$\theta_i$が独立同一分布であるという仮定から、任意の$i$について$\mathbb{V}[\theta_i] = \sigma^2$とすると、

  \mathbb{V}\left[\overline{\theta}_{(n)}\right] = \frac{\sigma^2}{n},

であることがわかります。この２つを用いると、

  0 \leq \Pr(|\overline{\theta}_{(n)} - \mathbb{E}[\theta_i]| > \varepsilon)
  \leq \frac{\mathbb{V}\left[\overline{\theta}_{(n)}\right]}{\varepsilon^2}
  = \frac{1}{\varepsilon^2}\frac{\sigma^2}{n},

を得て、最右辺は$n \to 0$の極限において0に収束します. よって、はさみうちの定理から大数の弱法則がしたがいます。

連続写像定理

連続写像定理

$\{\theta_n\}_{n = 1}^{\infty}$を確率変数の列、$c$を定数とする。実数値関数$g$が$c$で連続ならば、

    \theta_n \overset{p}{\to} c
    \implies g(\theta_n) \overset{p}{\to} g(c),

が成り立つ。ただし、$\overset{p}{\to}$は確率収束を表す。

説明

実数値関数$g$が$c$で連続であるので、

  \forall \varepsilon > 0,\ \exists \delta > 0: 
  |\theta_n - c| \leq \delta \implies |g(\theta_n) - g(c)| \leq \varepsilon,

がいえます。ここで、対応関係と余事象を考えると、

\begin{align*}
  \Pr(|\theta_n - c| \leq \delta) \leq \Pr(|g(\theta_n) - g(c)| \leq \varepsilon),\\
  \Pr(|g(\theta_n) - g(c)| > \varepsilon) \leq \Pr(|\theta_n - c| > \delta).
\end{align*}

いま, $\theta_n \overset{p}{\to} c$を仮定すると, $n \to 0$で

  0 \leq \Pr(|g(\theta_n) - g(c)| > \varepsilon) \leq \Pr(|\theta_n - c| > \delta) \to 0.

よって、はさみうちの定理から

g(\theta_n) \overset{p}{\to} g(c)

が言えます。