自然科学の統計学を読んだ記録

1章　確率の基礎

離散的な確率分布

1. 二項分布　
   $P(X=k)=\binom{n}{k}p^kq^{n-k}$
   復元抽出

2. 幾何分布　
   $P(X=r)=pq^{r-1}$ 　
   ベルヌーイ試行において初めて事象Sが起きるまでの回数Xが従う

3. 負の二項分布　
   $P(X=n)=\binom{n-1}{M-1}p^Mq^{n-M}$
   事象SがM回起きるまでにう要した回数Xが従う　幾何分布の一般化

4. 超幾何分布
   $P(X=r)=\frac{\binom{R}{r}\binom{M-R}{n-r}}{\binom{M}{n}}$
   非復元抽出

5. ポアソン分布　
   $P(X=k)=\frac{e^{-x}\lambda^k}{k!}$
   二項分布でnが大きくpが小さい時に起きる回数Xが従う

連続的な確率分布

1. 正規分布
   $f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(\frac{-(X-\mu)^2}{2\sigma^2})$

2. 指数分布
   $f(x)=\lambda exp(-\lambda x) (x\geqq 0)$

3. ガンマ分布
   $ f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$
   αは形状パラメータ　λは尺度パラメータ
   Ga(1,1)は指数分布、Ga(n/2,1/2)は自由度nのカイ二乗分布になる

4. β分布
   $f(x)=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{\beta(\alpha,\beta)}$
   最大値、最小値の標本分布などに現れる
   Be(1,1)は一様分布

モーメント母関数

$M(t)=E(e^{tx})$
これをtでr回微分してt=0としたものが確率変数Xのt次のモーメントになる
モーメント母関数を用いると期待値や分散を楽に計算できる場合がある

2章　線形モデルと最小二乗法

線形モデル

$y=X\theta+\epsilon$

$\epsilon$についての仮定

• 不編性　$E(\epsilon)=0$
• 等分散、無相関性　$V(\epsilon)=\sigma^2I$

最小二乗法

$S(\theta)=||y-X\theta||^2$
これを求めるには、正規方程式
$X'X\theta=X'y$
を解けばよい

推定可能関数

θに関する線形式で、yの線形式からなる不偏推定量が存在するもの

ガウス-マルコフの定理

y=Xθ＋εに関する任意の推定可能関数$l'θ$について、$l\hat{\theta}$が一意にBLUE(最小分散線形不偏推定量)を与える。ただし$\hat{\theta}$は正規方程式の解

3章　実験データの分析

多元配置

多因子要因実験を完全無作為法で行ったもの。それに対しまず要因Aだけで最適な水準を決め、次にBで...と繰り返す方法を単一因子実験と呼ぶ。

4章　最尤法

スコア関数

対数尤度関数をパラメータθで偏微分したもの。この解が最尤推定量になる。

フィッシャー情報量

$(X'X)^{-1}\sigma^2$
スコア関数の分散

クラメール・ラオの下限

不偏推定量がとることのできる分散の下限。フィッシャー情報量の逆数となる。

有効推定量

クラメール・ラオの下限を達成する不偏推定量。

最尤推定量の最適性

最尤推定量は漸近的に不偏な推定量であり、その漸近分散はクラメール・ラオの下限に一致する。さらに最尤推定量の漸近分布は正規分布$N(\theta_0,1/nI_1(\theta_0))$になる。

尤度比検定

$H_0:\theta=\theta_0$
$H_1:\theta\neq\theta_0$
とする。この時尤度比検定とは
$\frac{L(\tilde{\theta})}{L({\theta_0})}>c$
を棄却域とする検定。
尤度比検定は最尤推定量に基づく両側検定を漸近的に同等。

5章　適合度検定

カイ二乗適合度検定

$\chi^2=\sum\frac{(観測度数-理論度数)^2}{(理論度数)}$
自由度=(多項分布の自由度）$-$(推定する母数の数)
これはモデルの、実現値に対する適合度を測る指標であり、以下のような幅広い応用例がある

• 分割表における独立性の検定
  $H_0:p_{ij}=p_{i・}・p_{・j}$
  つまり分割表が対称性を持ち、相関がないという検定

• 対称性の適合度検定
  $H_0:p_{ij}=p_{ji}$

• ブラッドリー・テリーのモデル
  $y_{ij}$をiがjに勝った回数とし、各チームに固有の強さ$\theta_i$が存在すると仮定するモデル

6章　検定と標本の大きさ

検出力関数(作用特性曲線、OC曲線ともいう)

$\beta_\delta(\theta)=P_\theta(t(X_1...X_n)>t_0)$
つまりδを用いて帰無仮説を棄却する確率を表す

第一種の過誤

$\beta_\delta(\theta), \theta \in \theta_0$

第二種の過誤

$1-\beta_\delta(\theta), \theta \in \theta_1$

最強力検定

特定の対立仮説の点$\theta_1\in\Theta_1$において検出力を最大にする検定のこと
特定の点に限らず全ての点で検出力を最大にする検定が存在するなら、それを一様最強力検定という

ネイマン・ピアソンの補題

$H_0,H_1$がともに1点である(単純仮説)場合には、尤度比検定が最強力検定になる

7章　分布の仮定

点推定

1. データが実際に正規分布かどうかに関わらず、標本平均は不偏性を持つ
2. だが正規分布ではない場合には不偏かつ標本平均よりさらに分散の小さい統計量が存在することがある。例えば正規分布に近いが裾の長い分布では最尤推定量や標本中央値の方が分散が小さくなる
3. ただし尤度を計算するには確率分布を仮定しないといけない。「正規分布ではなく○○分布に従っている」とはっきりわかる場合はあまりない。
4. そうした場合にはよりロバストな統計量であるトリム平均やフーバー型推定量を使うことができる

t検定

1. t検定は正規分布を仮定しているが、仮に正規分布でなかったとしても有意水準が大きく狂うことはない。妥当性に関してはロバストと言える
2. ただし正規分布でないと検出力は著しく落ちる

ノンパラメトリック検定

分布の形に関係なく妥当な結論を与える検定方式
データが正規分布に従っているとわかる場合にはパラメトリック検定の方が検出力が高いためパラメトリック検定を使った方が良い。正規性が満たされないことが明らかな場合にはロバストな推定量やノンパラメトリック検定の方が有効になりうる
例：ウィルコクソンの順位和検定

正規性の検定

(1)歪度と尖度が正規分布と近い値になっているかを検定
(2)正規確率プロットを行い視覚的にチェック

8章　質的データの統計的分析

プロビットモデル

誤差項が標準正規分布に従うと仮定し、その累積分布関数を使って評価する
二値分類に累積確率分布を使う理由は、0から1の値しか取らないことが確率を表すのに便利だから。
$Y_i=1$となる確率は
$F^*(X_i)=\Phi(\beta_0+\beta_1X_i)$

ロジットモデル

誤差項がロジスティック分布に従うとし、その累積分布関数を用いて評価する
$F^*(X_i)=\Lambda(\beta_0+\beta_1X_i)$
$log(P_{1i}/P_{0i})=\beta_0+\beta_1X_i$
つまり対数オッズがXの線形関数になる

9章　ベイズ決定

自然な共役分布

事前分布と事後分布が同じ確率分布の族に従えば計算を楽にすることができる。そのような事前分布を自然な共役分布という。
例えば
二項分布→ベータ分布
正規分布→正規分布
ポアソン分布→ガンマ分布
が知られている

統計的決定理論

推定も検定もある基準とするコストを最小にする統計量を求めているという考え方。

10章　確率過程の基礎

ランダム・ウォーク

時点0における位置を0とし、確率pで上へ1単位、確率q=1-pで下へ1単位移動すると仮定したもの。
期待値は$E(S_n)=nE(X_i)=n{1・p+(-1)・q}=n(p-q)$
分散は$V(S_n)=nV(X_i)=n{p+q-(p-q)^2}=4npq$
例：破産問題

ブラウン運動

ランダムウォークを連続的な時点に拡張したもの
時点tにおける粒子の位置は期待値2Ct、分散2Dtの正規分布に従う
期待値は直線上にあり、分散とともに増えていく

マルコフ連鎖

1時点前の状態のみに依存する確率過程。
例：ポアソン過程、出生死滅過程