はじめに
統計学を勉強していると出てくる「チェビシェフの不等式」ですが、その式だけを見ても中々理解が難しかったため、丁寧にその導出過程の式展開を追ってみました。
参考
ポアソン分布の理解とその分布の描画を行うに当たって下記を参考にさせていただきました。
チェビシェフの不等式
チェビシェフの不等式とは何か
P(|X-μ|\geq kσ) < \frac{1}{k^2}
任意の実数$k>0$かつ$μ=E(X)$、$σ^2=V(X)$である時どんな確率変数$X$に対しても上記不等式が成り立ちます。これをチェビシェフの不等式と呼びます。どんな確率変数$X$に対しても、というところが味噌でこの不等式はどんな確率分布に対しても成り立つ絶対的なものになっています。
具体的に数字を当てはめてチェビシェフの不等式を見てみます。
$k = 3$を上記不等式に代入するとこのような感じになります。
P(|X-μ|\geq 3σ) < \frac{1}{9} \fallingdotseq 0.11
上記の式の意味は、どんな確率分布であってもあるデータが3σ範囲外である確率は11%未満であるということです。確率分布が正規分布である時は3σ範囲から外れる確率は0.3%程度であることが知られていますが、正規分布ではないデータに対してもこういった確率が導き出せることが非常に重要なポイントです。
チェビシェフの不等式の導出
マルコフの不等式
チェビシェフの不等式の証明に用いられるマルコフの不等式を先に見ていきます。
マルコフの不等式
$X$を非負の値をとる確率変数とした時、任意の定数$c > 0$に対して下記不等式が成り立つ。
P(X \geq c) \leq \frac{E(X)}{c}
こちらをチェビシェフの不等式の導出に用いるのですが、まずこのマルコフの不等式を導出する過程を見ていきます。
{\begin{eqnarray*}E(X)&=&\int^\infty_0 xf(x)dx\\
&=&\int^c_0 xf(x)dx + \int^\infty_c xf(x)dx\\
&\geq&\int^\infty_c xf(x)dx\\
&\geq&c\int^\infty_c f(x)dx\\
&=&cP(X>c)
\end{eqnarray*}
}
2行目から3行目への展開は、$c>0$のため$\int^c_0 xf(x)dx$が必ず正となることから可能です。
また3行目から4行目の展開も積分の中身の$x$には必ず$c$以上の値が代入されるため可能です。
上記式を整理するとこのようなマルコフの不等式が導出可能です。
P(X \geq c) \leq \frac{E(X)}{c}
チェビシェフの不等式の導出
それでは、先ほどのマルコフの不等式を用いてチェビシェフの不等式を導出します。
マルコフの不等式において$X = (X-μ)^2$、$c = k^2σ^2$とおきます。
{\begin{eqnarray*}
P((X-μ)^2 \geq k^2σ^2) &\leq& \frac{E((X-μ)^2)}{k^2σ^2}\\
P(|X-μ| \geq kσ) &\leq& \frac{σ^2}{k^2σ^2}\\
P(|X-μ| \geq kσ) &\leq& \frac{1}{k^2}
\end{eqnarray*}}
するとこんな感じで簡単にチェビシェフの不等式を導出することができました。
大数弱の法則
大数の法則は大雑把に言うと、大量のサンプルを集めればそのサンプルの平均は真の平均に近づくという法則です。実は今までのマルコフの不等式とチェビシェフの不等式で大数弱の法則を導き出すことが可能です。大数の法則には、大数弱の法則と大数強の法則の2つがありますが、今回導き出すのは大数弱の法則の方です。
大数弱の法則
互いに独立な確率変数 $X_{1},X_{2},⋯,X_{n}$ が母平均 $μ$ 母分散 $σ^2$ の同一の確率分布に従うとき、 その標本平均 $\overline{X}=X_{1}+X_{2}+⋯+X_{n}$と任意の正の定数 $\epsilon$ について下記が成り立つ。
\displaystyle\lim_{n \to \infty}P(|\overline{X}-μ|< \epsilon)=1
$n$を限りなく大きくすれば「$\overline{X}$が限りなく$μ$に限りなく近く確率」が限りなく100%に近くなるということです。
大数弱の法則の導出
まず、マルコフの不等式において$X = (X-μ)^2$、$c = k^2$とおきます。
すると下記式を導き出すことができます。
P(|X-μ|\geq σ) \leq \frac{σ^2}{k^2}
ここで確率変数を標本平均$\overline{X}=X_{1}+X_{2}+⋯+X_{n}$とするとその期待値と分散はそれぞれ$E(\overline{X})=μ$・$V(\overline{X})=\frac{σ^2}{n}$となります。こちらを上記不等式に当てはめます。
{\begin{eqnarray*}
P(|X-μ|\geq σ) &\leq& \frac{σ^2}{nk^2}\\
\end{eqnarray*}}
ここで$n$を限りなく無限大に近づけると$\frac{σ^2}{nk^2}$は$0$になります。
すると数式的には下記のように表されます。
\lim_{n \to \infty}P(|\overline{X}-μ|\geq σ) \leq 0
また$P(|\overline{X}-μ|\geq σ)$は負の値を取らないので下記のように変形できます。
{\begin{eqnarray*}
\lim_{n \to \infty}P(|\overline{X}-μ|\geq σ) &=& 0 \\
\lim_{n \to \infty}P(|\overline{X}-μ|< σ) &=& 1
\end{eqnarray*}}
これで大数弱の法則を導出することができました。
Next
今後も統計関連で学んだことを色々まとめていきます。