統計学実践ワークブック完全攻略(5章〜8章)

はじめに

こんにちは！
僕は研究を行いながら、長期インターンでデータサイエンティストとして働く大学院生です！
X(Twitter)でデータサイエンス学習のサポート等を行なっているのでご興味ある方はぜひフォローしてください！学生・社会人問わず専攻も問わずサポートいたします！

X(Twitter)

今回は、前回に引き続き、統計学実践ワークブックの5章〜8章について解説していきます！

統計学実践ワークブックは章が進むごとに難しくなっていきますが、着実に学習を進めれば、必ず準1級まで取得できるので頑張っていきましょう💪
特に5,6章は似たような分布が多数出てきて、ごちゃごちゃになりやすいので、しっかり整理して学習していきましょう！

まだ、1章~4章の学習を終えていない人は以下の記事を読んでください👍

統計学実践ワークブック完全攻略(1章〜4章)

以前紹介した統計学実践ワークブック完全攻略1章〜4章の解説はこちらです。

5章　離散型分布

この章では離散型の分布が8種類解説されます。ただし、期待値と分散は基本的には、確率母関数(離散値だから)から求められるようにしておきましょう。確率母関数については1~4章の解説記事で説明しています。
確率変数$X$が$x$となる確率の式$p(x)=P(X=x)$だけ覚えておけばほぼ同様に求められます。各分布の$p(x)$を簡単に記し、以下の4種類のみ詳しく解説します。

• ベルヌーイ分布
• 超幾何分布
• ポアソン分布
• 幾何分布

離散一様分布

確率変数$X$が$1,2,...K$を等確率で取ります。すなわち$p(x)$は以下となります。

P(X=x)=\frac{1}{K}

ベルヌーイ分布

２つの結果のうち、いずれか一方が起こる試行を考えます。一方が起こる事象を「成功」、もう一方の事象を「失敗」と呼びます。
具体例を示すと、コインの表裏の出る確率などが挙げられます。

成功する確率を$p$と置くと、成功した時の確率変数は1, 失敗した時の確率変数は0とします。
失敗する確率を$q$として期待値と分散を確率母関数から求めていきます。(ただし$q=1-p$)

G(s)=E[s^X]=s^1p+s^0q=sp+q

確率変数$X$は$0$か$1$しか取らないので、非常に簡単な式になります。続いて、期待値を求めるために、$G(s)$を微分していきます。

\displaylines{
G'(s)=E[Xs^{X-1}]=p\\
G''(s)=E[X(X-1)s^{X-2}]=0\\
G'(1)=E[X]=p\\
G''(1)=E[X(X-1)]=0
}

以上の結果より期待値と分散は以下となります。

\displaylines{
E[X]=p\\
V[X]=E[X^2]-(E[X])^2=G''(1)+G'(1)-(E[X])^2\\
=0+p-p^2=p(1-p)=pq
}

暗記ではなく、算出できるようにしておきましょう。

二項分布

成功確率$p$のベルヌーイ試行を$n$回行った時の確率変数の和を新たな確率変数$Y=(X_1+X_2+...+X_n)$の従う分布を成功確率$p$の二項分布といいます。
つまり$n$回試行を行った時の成功回数を確率変数$Y$とおくことになります。
従って、$p(y)$は以下となります。

p(y)=P(Y=y)=_nC_y・p^yq^{n-y}

超幾何分布

二項分布に非常に似ている分布です。具体例を使って二項分布と超幾何分布の違いを説明していきます。
袋の中に$N$個の玉が入っています。そのうち$M$個は赤玉で、残りの$N-M$個は白玉です。袋の中から$n$個の玉を取り出す場合を想定してください。

• 取り出した玉を再度袋に戻す復元無作為抽出の場合、赤玉(成功)を引く確率は常に$M/N$であるため、二項分布になる
• 取り出した玉は袋に戻さない非復元無作為抽出の場合、赤玉(成功)を引く確率は試行ごとに変わるため、超幾何分布になる

この違いを明確にしておきましょう。
つまり、「非復元無作為抽出で取り出された$n$個の玉のうち赤玉の個数」を確率変数$Y$とした時の分布が超幾何分布です。
$p(y)$は次のようになります。

p(y)=P(Y=y)=\frac{{_MC_y}×_{N-M}C_{n-y}}{_NC_n}

超幾何分布は確率母関数から算出するのに適していません。$C$が出てくるため、うまく求められないからです。そこで、直接期待値の定義から求めていきましょう。

E[Y]=\sum_y{yp(y)}=\sum_y{y\frac{{_MC_y}×_{N-M}C_{n-y}}{_NC_n}}\tag{5-1}

ここで、次のように式変形できます。

\displaylines{
\frac{_MC_y}{_NC_n}=\frac{\frac{M!}{y!(M-y)!}}{\frac{N!}{n!(N-n)!}}=\frac{n}{y}\frac{M}{N}×\frac{\frac{(M-1)!}{(y-1)!((M-1)-(y-1))!}}{\frac{(N-1)!}{(n-1)!((N-1)-(n-1))!}}\\
=\frac{n}{y}\frac{M}{N}\frac{{_{M-1}C_{y-1}}}{_{N-1}C_{n-1}}\\
\tag{5-2}
}

従って$(5-1), (5-2)$より、以下のようになります。

\displaylines{
E[Y]=\sum_y{y・\frac{n}{y}\frac{M}{N}\frac{{_{M-1}C_{y-1}}}{_{N-1}C_{n-1}}×_{N-M}C_{n-y}}\\
=n・\frac{M}{N}\sum_y{\frac{{_{M-1}C_{y-1}}×_{N-M}C_{n-y}}{_{N-1}C_{n-1}}}
}

ここで$\sum$以降の部分は、パラメータが$N-1$, $M-1$, $n-1$の超幾何分布の形と一致しています。さらに、この超幾何分布は全ての$y$の値において足し合わされていることから、その値は１となります。
従って、

E[Y]=n・\frac{M}{N}

を示せました。
分散もほぼ同様の導出方法で算出できますが、非常に時間がかかるため、超幾何分布に関しては、期待値と分散の値を覚えてしまう方が楽だと思います。

\displaylines{
E[X]=n・\frac{M}{N}\\
V[X]=n・\frac{M}{N}(1-\frac{M}{N})×\frac{N-n}{N-1}
}

ちなみに、超幾何分布の期待値は二項分布の期待値と一致します。(ただし、$p=\frac{M}{N}$)

ポアソン分布

ポアソン分布は二項分布が元となる分布です。二項分布の確率変数$X$の期待値は$E[X]=np$によって求められます。ここで、$np$を一定の値$λ$とおき、$np=λ$のままで$n$を十分大きく$p$を十分小さくした場合の二項分布は、平均$λ$のポアソン分布に近似できます。
つまり、ポアソン分布は、「ある期間に平均$λ$回起こる現象がある期間に$Y$回起きる確率の分布」と言い換えられます。確率関数は以下です。

P(Y=y)=\frac{λ^y}{y!}e^{-λ}

ポアソン分布も確率母関数をもとに期待値と分散を求めていきます。

\displaylines{
G(s)=E[s^Y]=\sum_y{s^y\frac{λ^y}{y!}e^{-λ}}=e^{-λ}\sum_y{\frac{(λs)^y}{y!}}\\
=e^{-λ}e^{λs}=e^{λ(s-1)}
}

べき級数の公式である$e^x=\sum_n{\frac{x^n}{n!}}$を用いて式変形しています。
いつも通り微分により式変形することで期待値と分散を求められます。

\displaylines{
G'(s)=E[Ys^{Y-1}]=λe^{λ(s-1)}\\
G''(s)=E[Y(Y-1)s^{Y-2}]=λ^2e^{λ(s-1)}\\
G'(1)=E[Y]=λ\\
G''(1)=E[Y(Y-1)]=λ^2
}

以上の結果より以下となります。

\displaylines{
E[Y]=λ\\
V[Y]=E[Y^2]-(E[Y])^2=G''(1)+G'(1)-(G'(1))^2\\
=λ^2+λ-λ^2=λ
}

ポアソン分布は、以下の再生性が成り立ちます。$Y_1(平均λ_1)$, $Y_2(平均λ_2)$双方がポアソン分布に従い、さらに互いに独立な時$Y_1+Y_2$は$λ=λ_1+λ_2$のポアソン分布に従います。

幾何分布

こちらも二項分布が元となる分布です。成功の確率を$p$として初めて成功するまでに起こる失敗の回数を$X$とします。この$X$の分布を幾何分布と言い、$Geo(p)$で表されます。確率関数はとしては$p(成功)$が$1$回,$q(失敗)$が$x$回起こるので以下となります。

P(X=x)=pq^x

確率母関数から期待値と分散を求めていきます。

G(s)=E[s^X]=\sum_x{s^xpq^x}=p\sum_x{(sq)^x}=\frac{p}{1-sq}

上記の式は等比数列の無限和の公式を用いています。ただし$|s|<\frac{1}{q}$の条件が成り立ちます。

\displaylines{
G'(s)=E[Xs^{X-1}]=\frac{pq}{(1-sq)^2}\\
G''(s)=E[X(X-1)s^{X-2}]=\frac{2pq^2}{(1-sq)^3}\\
G'(1)=E[X]=\frac{pq}{p^2}=\frac{q}{p}\\
G''(1)=E[X(X-1)]=\frac{2pq^2}{p^3}=\frac{2q^2}{p^2}
}

これらを用いて以下のようにして期待値、分散を求めます。

\displaylines{
E[X]=\frac{q}{p}\\
V[X]=E[X^2]-(E[X])^2=G''(1)+G'(1)-(G'(1))^2\\
=\frac{2q^2}{p^2}+\frac{q}{p}-\frac{q^2}{p^2}\\
=\frac{q}{p^2}
}

例題

少し難しい例題5.3, 5.4, 5.5の解説を行いました。

6章　連続型分布と標本分布

この章では5章の連続値版と考えたら良いですが、何より正規分布の深い理解が必要です。例題を解くことに重点を置いて、以下の４つの重要事項について解説したのちに例題を解いてきます。ただし受験前には他の概念も重要なので、学習しておいてください。

• 正規分布
• 指数分布
• ２変数正規分布
• 混合正規分布

正規分布

実数$μ, $分散$σ^2$の正規分布$N(μ,σ^2)$の確率密度関数は以下で表せます。こちらは覚えましょう。

f(x)=\frac{1}{\sqrt{2π}σ}exp(-\frac{(x-μ)^2}{2σ^2})\tag{6-1}

特に$μ=0, σ^2=1$の時の$N(0,1)$は標準正規分布と呼びます。この時の確率密度関数$φ(z)$と累積分布関数$Φ(z)$は次で表されます。

\displaylines{
φ(z)=\frac{1}{\sqrt{2π}}e^{-\frac{z^2}{2}}\\
Φ(z)=P(Z<=z)=\int_{-∞}^{z}{φ(t)}dt
}

続いてモーメント母関数から期待値と分散を求めます。

\displaylines{
M(t)=E[e^{tX}]=\int_{-∞}^{∞}e^{tx}・\frac{1}{\sqrt{2π}σ}exp(-\frac{(x-μ)^2}{2σ^2})dx\\
=\frac{1}{\sqrt{2π}σ
}\int_{-∞}^{∞}exp(tx-\frac{(x-μ)^2}{2σ^2})
}

ここで、$exp$の中身を指揮変形していきます。

\displaylines{
tx-\frac{(x-μ)^2}{2σ^2}=-\frac{1}{2σ^2}(x^2-2x(μ+σ^2t)+μ^2)\\
=\frac{1}{2σ^2}(x-(μ+σ^2t))^2+\frac{(μ+σ^2t)^2-μ^2}{2σ^2}\tag{平方完成}
}

これをモーメント母関数の積分に戻し、指数関数部分の部分を再配置すると以下となります。

M(t)=exp(\frac{(μ+σ^2t)^2-μ^2}{2σ^2})\int_{-∞}^{∞}\frac{1}{\sqrt{2π}σ}exp(\frac{(x-(μ+σ^2t))^2}{2σ^2})dx

ここで$(6-1)$に注目すると、$\int$の中が$N(μ+σ^2t, σ^2)$の正規分布になっていることがわかります。正規分布の積分値は1になるので、以下のモーメント母関数を得ることになります。

\displaylines{
M(t)=exp(μt+\frac{1}{2}σ^2t^2)\\
M'(t)=E[Xe^{tX}]=(μ+σ^2t)exp(μt+\frac{1}{2}σ^2t^2)\\
M''(t)=E[X^2e^{tX}]=σ^2exp(μt+\frac{1}{2}σ^2t^2)+(μ+σ^2t)^2exp(μt+\frac{1}{2}σ^2t^2)\\
=(σ^2+(μ+σ^2t)^2)exp(μt+\frac{1}{2}σ^2t^2)
}

続いて、$M'(0), M''(0)$を求めることで、期待値と分散を算出します。

\displaylines{
M'(0)=E[X]=μ\\
M''(0)=E[X^2]=σ^2+μ^2\\
E[X]=μ\\
V[X]=E[X^2]-(E[X])^2=σ^2+μ^2-μ^2=σ^2
}

$X〜N(μ,σ^2)$の時、標準化した$Z=(X-μ)/σ$の分布は標準正規分布N(0,1)になります。これによって、$X〜N(μ,σ^2)$の累積分布関数は、以下のように表せます。

P(X<=x)=P(\frac{X-μ}{σ}<=\frac{x-μ}{σ})=Φ(\frac{x-μ}{σ})

この標準化はとてもよく使うので、要チェックです！
また、正規分布には、再生性と呼ばれる以下の性質があります。$X_1〜N(μ_1,σ^2_1)$,$X_2〜N(μ_2,σ^2_2)$で$X_1,X_2$が独立であれば、$X_1+X_2〜N(μ_1+μ_2,σ^2_1+σ^2_2)$となります。

指数分布

$λ>0$に対して、確率密度関数が$f(x)=λe^{-λx}$となる分布を指数分布と言い、$Exp(λ)$で表されます。
累積分布関数は以下で求まります。

\displaylines{
F(x)=P(X<=x)=\int_{0}^{x}λe^{-λx}dx\\
=λ[-\frac{1}{λ}e^{-λx}]^x_{0}=λ(-\frac{1}{λ}e^{-λx}+\frac{1}{λ})=1-e^{-λx}
}

また、モーメント母関数を用いて、期待値と分散を算出していきます。

\displaylines{
M(t)=E[e^{tX}]=\int^∞_0{e^{tx}λe^{-λx}dx}=λ[\frac{1}{t-λ}e^{(t-λ)x}]^∞_0\\
=\frac{λ}{λ-t}\\
M'(t)=E[Xe^{tX}]=\frac{λ}{(λ-t)^2}\\
M''(t)=E[X^2e^{tX}]=\frac{2λ}{(λ-t)^3}\\
M'(0)=E[X]=\frac{1}{λ}\\
M''(0)=E[X^2]=\frac{2}{λ^2}
}

したがって期待値と分散は以下です。

\displaylines{
E[X]=M'(0)=\frac{1}{λ}\\
V[X]=E[X^2]-(E[X])^2=\frac{2}{λ^2}-(\frac{1}{λ})^2=\frac{1}{λ^2}
}

2変数正規分布

実数$μ_1, μ_2$と$σ_1>0, σ_2>0$さらに、$-1<ρ<1$を満たす$ρ$を持つ２変量正規分布$X=(X_1,X_2)^T$が存在するとき、この分布は$N_2(μ,Σ)$で表されます。

\displaylines{
f(x_1,x_2)=\frac{1}{2πσ_1σ_2\sqrt{1-ρ^2}}exp[-\frac{1}{2(1-ρ^2)}((\frac{x_1-μ_1}{σ_1})^2-2ρ(\frac{x_1-μ_1}{σ_1})(\frac{x_2-μ_2}{σ_2})+(\frac{x_2-μ_2}{σ_2})^2)]\\
μ=(μ_1,μ_2)^T\\
Σ=\begin{pmatrix}
σ_1^2 & σ_{12} \\
σ_{12} & σ_2^2 \\
\end{pmatrix}
}

ただし、$σ_{12}=ρσ_1σ_2$で表されます。この時の$σ_{12}$は共分散と言われ、$ρ$は相関係数と言われます。
また、$X_1, X_2$の周辺分布は、それぞれ$N(μ_1,σ_1^2),N(μ_2,σ_2^2)$になります。ここで、$X_1=x_1$が与えられた時の$X_2$の条件付き分布は、正規分布になります。その期待値と分散は次の条件付き確率密度関数からよ求められます。

P[X_2|X_1=x_1]=\frac{f(x_1,x_2)}{f(x_1)}

ただし、式変形が煩雑なため、以下を暗記することをお勧めします。

\displaylines{
E[X_2|X_1=x_1]=μ_2+ρ\frac{σ_2}{σ_1}(x_1-μ_1)\\
V[X_2|X_1=x_1]=σ_2^2(1-ρ^2)
}

混合正規分布

$j=1,...,K$に対して、$f_j(x)=\frac{1}{\sqrt{2π}σ_j}exp(-\frac{(x-μ_j)^2}{2σ_j^2})$を$N(μ_j,σ_j^2)$の確率密度関数とします。また、$p_1,...p_K$は$p_j>0(j=1,...K)$と$p_1+...+p_K=1$を満たすとします。この時の確率密度関数が以下となる分布を混合正規分布と言います。

f(x)=p_1f_1(x)+...+p_Kf_K(x)

また、この時の累積分布関数は以下となります。

F(x)=p_1F_1(x)+...+p_KF_K(x)

例題

7章　極限定理, 漸近理論

この章では、様々な法則が出てくるので、一つずつどのような法則・定理なのか丁寧に理解することに注力しましょう。ここの重要事項は、以下の４つです。

• 大数の弱法則
• 分布収束
• 中心極限定理
• デルタ法

特に中心極限定理については理解を深めましょう。

大数の法則

$X_n$は独立同一分布に従い、その平均と分散がそれぞれ以下のように表せるとします。

E[X_n]=μ, V[X_n]=σ^2

このとき、$X_1,...,X_n$の標本平均は以下となります。

\bar{X_n}=\frac{1}{n}\sum_{i=1}^{n}{X_i}

この値は、$n→∞$のもとで$μ$に平均磁場収束します。すなわち以下となります。

\lim_{n\to \infty}E[(X_n-\bar{X_n})^2]=0

この法則を大数の弱法則と呼びます。さらに同じ仮定の下で、$n→∞$とするとき、$\bar{X_n}$は$μ$にほとんど確実に収束します。この法則を大数の強法則と呼びます。

P(\lim_{n\to \infty}\bar{X_n}=μ)=1

分布収束

確率変数列${X_n}$を考え、$X_n$の累積分布関数を$F_n(x)=P(X<=x)$と表します。このとき、${X_n}$がある確率分布$G$に分布収束あるいは、法則収束するとは、以下が成り立つことを示します。

\lim_{n\to \infty}F_n(x)=G(x)

分布収束は、確率変数そのものの収束ではなく、文字通り累積分布の収束を表しています。

中心極限定理

${X_n}$は平均$μ$, 分散$σ^2$の独立同一分布に従うと仮定します。また、$X_1,...,X_n$の標本平均を$\bar{X_n}$と記します。この時、$\bar{X_n}$は$N(μ,σ^2/n)$の正規分布に分布収束します。

\displaylines{
E[\bar{X_n}]=μ\\
V[\bar{X_n}]=\frac{σ^2}{n}
}

を式変形することで、$\sqrt{n}(\bar{X_n}-μ)$は$N(0,σ^2)$の正規分布に分布収束とも表現できます。

離散分布を中心極限定理によって正規分布に近似するとき、区間の選び方によって結果が変わってしまうことがあります。このような時に、区間を半整数にすると近似がよくなることが知られています。この補正方法を連続修正と言います。連続補正は例題の問7.1で詳しく解説します。

デルタ法

${X_n}$は平均$μ$, 分散$σ^2$の独立同一分布に従うと仮定します。また、中心極限定理の時と同様に、$X_1,...,X_n$の標本平均を$\bar{X_n}$と記します。ここで、ある関数$g$を用いて$g(\bar{X_n})$と表される量を考えます。この時に、$\sqrt{n}(g(\bar{X_n})-g(μ))$の分布収束を求める方法が、デルタ法です。
ステップとしては3つのステップで証明できます。

1. 中心極限定理
   中心極限定理より以下の式が成り立ちます。

   \sqrt{n}(\bar{X_n}-μ)\to{N(0, σ^2)}
   

   ここで$\to$は分布収束を意味しています。
2. テイラーの定理
   テイラーの定理は、ある関数をその関数のある点での値と導関数によって近似するためのものです。関数$g(x)$が点$μ$で微分可能であれば、$g(x)$は次のように変形できます。

   g(x)≒g(μ)+g'(μ)(x-μ)
   

   この近似を用いて、$g(\bar{X_n})$の分布を考えます。
3. スルツキーの補題
   デルタ法を導くために、上記のテイラー展開を用います。$g(x)$を$\bar{X_n}$の周りでテイラー展開し、中心極限定理を適用することで、次のように表せます。

   \sqrt{n}(g(\bar{X_n})-g(μ))≒\sqrt{n}g'(μ)(\bar{X_n}-μ)
   

   ここで、$\sqrt{n}(X_n-μ)$は$N(0,σ^2)$に収束するため、$g'(μ)$が定数であれば、スルツキーの補題より上記の式も正規分布に収束します。これを正確にするために、$g'(μ)$が0でないと仮定します。そうすると、以下のようになります。

   \sqrt{n}(g(\bar{X_n})-g(μ))\to{N(0,[g'(μ)]^2σ^2)}
   

   ただし、$aN(0,σ^2)=N(0,a^2σ^2)$を用いています。これがデルタ法になります。

例・例題

8章　統計的推定の基礎

この章では、最尤推定法などの各種推定法が主に解説されています。各推定法の違いや求め方を丁寧に学習していきましょう。
この章の重要事項は、以下４つです。

• 統計量の見分け方
• 最尤推定法
• 点推定の性質
• リサンプリング法

統計量の見分け方

この章では、統計量とはということについて解説されていますが、肝心な統計量と非統計量の違いが明確化されていません。従って、統計量と非統計量の見分け方を説明します。

統計量と非統計量の見分け方は、「母集団のパラメータを含むか否か」です。統計量はサンプルデータに基づいて計算されるべきですが、母集団の平均$μ$が含まれていたり、母集団の分散$σ^2$が含まれていたりすると、非統計量になります。

標本の値を昇順に並べ替えたものを$X_{(1)},...,X_{(n)}$としたとき、これらを順序統計量と呼びます。

最尤推定法

確率分布$F_θ$の確率密度関数を$f(x;θ)$とした時、標本の独立同一性から同時確率関数は積で表されます。

L(θ)=\prod_{i=1}^nf(x_i;θ)=f(x_1;θ)×...×f(x_n;θ)

これを尤度関数と言います。この尤度関数を最大化する$θ$を推定する方法を最尤推定法と言います。
尤度関数の対数を対数尤度といい、推定方法としては、この対数尤度を用いることで計算しやすくなります。

\displaylines{
l(θ)=logL(θ)=log(\prod_{i=1}^nf(x_i;θ))=log(f(x_1;θ)×...×f(x_n;θ))\\
=\sum_{i=1}^n{log(f(x_i;θ))}
}

点推定の性質

母集団のパラメータ$μ$や$σ$を推定するために用いられる統計量を推定量と言います。その推定るようが持つ特定の性質を不偏推定量と言います。具体的には、「推定量の期待値が、推定しようとしている母集団パラメータと等しい」場合に、その推定量を不偏推定量と呼びます。

つまり、真のパラメータを$θ$、推定量を$\hat{θ}$とした時に以下の式が成り立つときに$\hat{θ}$を不偏推定量と呼びます。

E_θ[\hat{θ}]=θ

さらにバイアスは以下の式で求められます。

b_θ(\hat{θ})=E_θ[\hat{θ}]-θ

このバイアスが常に0の推定量を不偏推定量と呼びます。

クラーメル・ラオの不等式を用いると、一様最小分散不偏推定量であるかの判定ができることがある。
ここでフィッシャー情報量というものを求めて、クラーメル・ラオの不等式を適用し、等号を満たすような不偏推定量を有効推定量と呼びます。

• フィッシャー情報量
  フィッシャー情報量は、統計学において、あるパラメータの周りの確率分布の局所的な情報量を定量化する指標です。具体的には、サンプルを与えられた時に、そのサンプルからパラメータについて学べる「情報の量」を数学的に表したものです。フィッシャー情報量は、パラメータの推定精度を理解する上で重要な役割を果たします。

パラメータ$θ$に関する確率密度関数を$f$とするとき、フィッシャー情報量$J_n(θ)$は以下のように表されます。

J_n(θ)=E_θ[(\frac{\partial}{\partialθ}logf(X_1,...,X_n;θ))^2]

• クラーメル・ラオの不等式
  クラーメル・ラオの不等式は、推定量の分散が下界に制約されることを示す重要な結果です。この不等式により、ある条件下でのパラメータの不偏推定量の分散の下限フィッシャー情報量によって定まることが示されます。
  パラメータ$θ$の不偏推定量を$\hat{θ}$とするとき、クラーメル・ラオの不等式は以下となります。

Var(\hat{θ})>=\frac{1}{J(θ)}

この不等式は、フィッシャー情報量が大きいほど、つまり、サンプルから分かる情報量が多いほど、分散は小さくなることを示しています。なお、標本が独立同一である時は、$J_n(θ)=nJ_1(θ)$となり、フィッシャー情報量は標本サイズに比例します。

クラーメル・ラオの不等式の等号を満たすような不偏推定量を有効推定量と呼びます。

最尤法に必要な標本の情報を集約するためには、十分統計量が有効です。
十分統計量の定義は、フィッシャーによって導入されたもので、ある統計量が与えられたパラメータに関するデータのすべての情報を保持している場合、その統計量を十分と言います。形式的には、統計量$T(X)$が十分であるとは、サンプルXが与えられた時の条件付き確率分布$P(X|T,θ)$がパラメータ$θ$に依存しない場合を指します。

リサンプリング法

推定量が不偏ではなくバイアスがある場合に、推定量のバイアスを補正するために再サンプリングする方法がジャックナイフ法です。
ジャックナイフ法の手順は以下となります。

1. n個の標本を用意する
2. 各観測点を1個ずつ除外して$n-1$個の観測点を含む$n$個の部分サンプルを生成する
3. 各部分サンプルに対し目的の統計量を計算$(\hat{θ}_{(i)})$
4. 全部分サンプルの結果を平均化して推定量を決定

   \hat{θ_{(・)}}=\frac{1}{n}\sum_{i=1}^n{\hat{θ}_{(i)}}
   

5. これらの結果をもとに、必要に応じて元の推定値のバイアスを調整

\displaylines{
\hat{bias}=(n-1)(\hat{θ_{(・)}}-\hat{θ})\\
\hat{θ}_{jack}=\hat{θ}-\hat{bias}=\hat{θ}-(n-1)(\hat{θ_{(・)}}-\hat{θ})=n\hat{θ}-(n-1)\hat{θ_{(・)}}
}

この値をジャックナイフ推定量と呼びます。

例題

さいごに

最後まで読んでいただきありがとうございました！
少しでも統計検定を受ける方の一助となればと思います。
需要が高そうでしたら、統計学実践ワークブック完全攻略(9章〜12章)の記事も書いていくので、いいなと思った方は「いいね」お願いいたします。

もし僕の活動にもご興味を持っていただけたら、X(Twitter)もフォローしていただけると嬉しいです！

X(Twitter)

質問等はXで受け付けるので、気軽にDMしてください🙇

統計学実践ワークブック完全攻略(9章〜12章)

追記していきます。
Comming Soon ...